通过

AKS 存档发行说明上的 Azure HDInsight

  • 项目

重要

AKS 上的 Azure HDInsight 已于 2025 年 1 月 31 日停用。 了解此公告的详细信息。

需要将工作负荷迁移到 Microsoft Fabric 或等效的 Azure 产品，以避免工作负荷突然终止。

重要

此功能目前以预览版提供。 Microsoft Azure预览版补充使用条款 包括适用于Beta版、预览版或尚未正式发布的Azure功能的更多法律条款。 有关此特定预览版的信息，请参阅 AKS 上的 Azure HDInsight 预览信息。 有关问题或功能建议，请在 AskHDInsight 上提交请求，提供详细信息，并关注我们以获取 Azure HDInsight 社区的更多更新。

AKS 上的 Azure HDInsight 是企业客户中最受欢迎的服务之一，用于在 Azure 上进行开源分析。 若要订阅发行说明，请观看此 GitHub 存储库上的版本。

发布日期：2024 年 8 月 5 日

此版本适用于以下

  • 群集池版本：1.2
  • 群集版本：1.2.1
  • AKS 版本：1.27

新功能

基于 MSI 的 SQL 身份验证 用户现在可以使用 MSI 而不是用户 ID 密码身份验证对外部 Azure SQL DB 元存储进行身份验证。 此功能有助于进一步保护与 Metastore 的群集连接。

头节点的可配置 VM SKU，SSH 节点 此功能允许用户为头节点、工作节点和 SSH 节点选择特定的 SKU，从而灵活地根据用例进行选择，并有可能降低总拥有成本（TCO）。

群集中的多个 MSI 用户可以为群集管理员操作和作业相关的资源访问配置多个 MSI。 此功能允许用户划分和控制对存储帐户中群集和数据的访问权限。 例如，一个 MSI 用于访问存储帐户中的数据，另一个专用 MSI 用于群集操作。

更新

脚本操作 脚本操作现在可以通过 Sudo 用户权限添加。 用户现在可以安装多个依赖项，包括自定义 jar，以便根据需要自定义群集。

库管理 此版本的库管理新增了 Maven 存储库快捷方式功能。 用户现在可以直接从开源存储库安装 Maven 依赖项。

Spark 3.4 Spark 3.4 更新带来了一系列新功能， 包括

  • API 增强功能
  • 在结构化流式处理上的改进
  • 改进了可用性和开发人员体验

重要

若要充分利用所有这些 最新功能，需要使用 1.2 和群集版本 1.2.1 创建新的群集池

已知问题

  • 工作负荷标识限制：
    • 转换为工作负荷标识时，存在已知的 限制。 此限制是由于 FIC 操作的权限敏感性质造成的。 用户无法通过删除资源组来执行群集删除。 群集删除请求必须由具有 FIC/delete 权限的应用程序/用户/主体触发。 如果 FIC 删除失败，高级群集删除也会失败。
    • 用户分配托管身份（UAMI） 支持 – 每个 UAMI 限制为 20 个 FIC。 只能在标识上创建 20 个联合凭据。 在 AKS 群集上的 HDInsight 中，FIC（联合标识凭据）和 SA 具有一对一的映射关系，且一个 MSI 只能创建最多 20 个 SA。 如果要创建更多群集，则需要提供不同的 MSIS 来克服这些限制。
    • 在 这些区域创建的用户分配的托管标识上，目前不支持创建联合标识凭据

操作系统版本

  • Mariner OS 2.0

工作负荷版本

工作量 版本
Trino 440
Flink 1.17.0
Apache Spark 3.4

支持的 Java 和 Scala 版本

工作量 爪哇岛 Scala
Trino 打开 JDK 21.0.2 - 
Flink 打开 JDK 11.0.21 2.12.7
火花 打开 JDK 1.8.0_345 2.12.15

预览版在以下 区域中提供。

如果还有其他问题，请联系 Azure 支持 或参阅 支持选项 页。 如果你有产品特定的反馈，请通过 aka.ms/askhdinsight给我们留言。

发布日期：2024 年 3 月 20 日

此版本适用于以下

  • 群集池版本：1.1
  • 群集版本：1.1.1
  • AKS 版本：1.27

新功能

Apache Flink 应用程序模式群集

应用模式群集旨在为大型和长时间运行的作业提供专用资源。 当有资源密集型或广泛的数据处理任务时，可以使用 应用程序模式群集。 此模式允许你为特定的 Apache Flink 应用程序分配专用资源，确保它们具有必要的计算能力和内存来有效处理大型工作负荷。

有关详细信息，请参阅 AKS上的 HDInsight 上的 Apache Flink 应用程序模式群集。

AKS 上的 HDInsight 专用群集

使用专用群集和出站群集设置，现在可以控制 AKS 群集池和群集上的 HDInsight 的入口和出口流量。

  • 选择将出站群集池与负载均衡器配合使用时，请使用 Azure 防火墙或网络安全组（NSG）来控制出口流量。
  • 将出站群集池与用户定义的路由配合使用，以控制子网级别的出口流量。
  • 使用专用 AKS 群集功能 - 确保 AKS 控制平面或 API 服务器具有内部 IP 地址。 AKS 控制平面/API 服务器与 AKS 节点池（群集）上的 HDInsight 之间的网络流量仅保留在专用网络上。
  • 避免为群集创建公共 IP。 在群集上使用专用入口功能。

有关详细信息，请参阅 在 AKS 群集池和群集上控制来自 HDInsight 的网络流量。

就地升级

使用最新的软件更新升级群集和群集池。 这意味着你可以享受最新的群集包修补程序、安全更新和 AKS 修补程序，而无需重新创建群集。 有关详细信息，请参阅 升级 AKS 群集和群集池上的 HDInsight。

重要

若要充分利用所有这些 最新功能，需要使用 1.1 和群集版本 1.1.1 创建新的群集池。

已知问题

  • 工作负荷标识限制：
    • 转换为工作负荷标识时，存在已知的 限制。 此限制是由于 FIC 操作的权限敏感性质造成的。 用户无法通过删除资源组来执行群集删除。 群集删除请求必须由具有 FIC/delete 权限的应用程序/用户/主体触发。 如果 FIC 删除失败，高级群集删除也会失败。
    • 用户分配的托管标识（UAMI） 支持 – 每个 UAMI 限制为 20 个 FIC。 您只能在一个身份上创建 20 个联合凭据。 在 AKS 群集上的 HDInsight 中，FIC（联合标识凭据）和 SA 具有一对一映射，并且只能针对 MSI 创建 20 个 SA。 如果要创建更多群集，则需要提供不同的 MSIS 来克服这些限制。
    • 在 这些区域内创建的用户分配的托管标识上，目前不支持联合标识凭据的创建

操作系统版本

  • Mariner OS 2.0

工作负荷版本

工作量 版本
Trino 426
Flink 1.17.0
Apache Spark 3.3.1

支持的 Java 和 Scala 版本

工作量 爪哇岛 Scala
Trino 打开 JDK 17.0.7 - 
Flink 打开 JDK 11.0.21 2.12.7
火花 打开 JDK 1.8.0_345 2.12.15

预览版在以下 区域中提供。

如果还有其他问题，请联系 Azure 支持团队 或参阅 支持选项 页。 如果你有特定于产品的反馈，请通过 aka.ms/askhdinsight留言给我们。

发布日期：2024 年 2 月 5 日

此版本适用于以下

  • 群集池版本：1.1
  • 群集版本：1.1.0
  • AKS 版本：1.27

提示

若要在 1.1.0 上的 AKS 群集上创建新的 HDInsight，需要使用版本 1.1 创建新的群集池

新功能

  • 1.1 上的群集池默认支持 工作负荷标识
  • Trino 群集从 1.1.0 版本开始支持 Trino 426
    • AKS 上的 HDInsight 现在包含所有到 Trino 426 的更改，并且社区提供了多项显著改进。 在此处 了解有关 Trino的详细信息。
  • Trino 群集形状现在支持从 1.1.0 版开始基于负载的自动缩放
    • 现在，运行在 AKS 上的 HDInsight 的 Trino 支持基于负载的自动缩放，使集群更加节省成本。 在此处 了解有关它的详细信息。
  • Trino 集群架构添加了简化的 Hive 元存储并简化了目录配置。
    • AKS 上的 HDInsight 简化了 Trino 群集的外部 Hive 元存储配置。 现在可以在 config.properties 中指定外部元存储，并使用单个参数为每个目录启用它。 在此处 了解有关增强功能的详细信息。
  • Trino 群集形状添加分片 sql 连接线
  • Flink 群集现在支持 AKS 1.1.0 版本上的 HDInsight 的 Flink 1.17.0
    • AKS 上的 HDInsight 现在支持 Flink 1.17.0 版本，对检查点、子任务级别火焰图、水印对齐进行了显著改进。 在此处详细了解 Flink 1.17 版本
  • Flink SQL 网关 现在受 Flink 会话群集的 AKS 1.1.0 版本的 HDInsight 支持

Bug 修复 & CVE

  • 此版本包括跨平台和开放源代码组件的多个关键 CVE 修复。
  • Trino 群集结构将系统表自动从缓存中排除
  • Trino 群集形状可改进 Power BI 时间戳时区处理

已知问题

  • 工作负荷标识限制：
    • 转换为工作负荷标识时，存在已知的 限制。 这是因为 FIC 操作具有对权限很敏感的性质。 用户无法通过删除资源组来执行群集删除。 群集删除请求必须由具有 FIC/delete 权限的应用程序/用户/主体触发。 如果 FIC 删除失败，高级群集删除也会失败。

新区域

  • 东亚

操作系统版本

  • Mariner OS 2.0

工作负荷版本

工作量 版本
Trino 426
Flink 1.17.0
Apache Spark 3.3.1

支持的 Java 和 Scala 版本

工作量 爪哇岛 Scala
Trino 打开 JDK 17.0.7 - 
Flink 打开 JDK 11.0.21 2.12.7
火花 打开 JDK 1.8.0_345 2.12.15

预览版在以下 区域中提供。

如果还有其他问题，请联系 Azure 支持 或查看 支持选项 页。 如果你有有关产品的特定反馈，请通过 aka.ms/askhdinsight写信给我们。

后续步骤

发布日期：2023 年 12 月 13 日

此修补程序版本适用于以下

  • 群集池版本：1.0
  • 群集版本：1.0.6

已知问题

  • 安全租户用户界面支持

    • 此版本解决了在 AKS 群集上无法访问 HDInsight 的开源组件 Web URL 的问题。 若要应用此修补程序，请联系 Azure 支持部门，在订阅/租户上启用此功能。

    如何应用此修补程序

    • 重新创建群集
      • 若要应用此修补程序，现有用户需要在现有群集池上重新创建其 群集。

操作系统版本

  • Mariner OS 2.0

工作负荷版本

工作量 版本
Trino 410
Flink 1.16
Apache Spark 3.3.1

支持的 Java 和 Scala 版本

工作量 爪哇岛 Scala
Trino 打开 JDK 17.0.7 - 
Flink 打开 JDK 11.0.21 2.12.7
火花 打开 JDK 1.8.0_345 2.12.15

预览版在以下 区域中提供。

如果还有其他问题，请联系 Azure 支持 或参阅 支持选项 页面。