AKS 上的 Azure HDInsight 发行说明

重要

AKS 上的 Azure HDInsight 已于 2025 年 1 月 31 日停用。 了解更多信息 ,请查看此公告

需要将工作负荷迁移到 Microsoft Fabric 或等效的 Azure 产品,以避免工作负荷突然终止。

重要

此功能目前以预览版提供。 Microsoft Azure 预览版补充使用条款 包括更多适用于 beta 版、预览版或尚未正式发布的 Azure 功能的法律条款。 有关此特定预览的信息,请参阅 Azure HDInsight 在 AKS 上的预览信息。 有关问题或功能建议,请在 AskHDInsight 上提交请求,并提供详细信息。关注我们以获取 Azure HDInsight 社区 的更多更新。

本文提供有关 Azure HDInsight 在 AKS 上的最新 版本更新的信息。 有关早期版本的信息,请参阅 Azure HDInsight on AKS 存档发行说明。 若要订阅发行说明,请关注此 GitHub 存储库上的版本

总结

AKS 上的 HDInsight 是一种在 Azure Kubernetes 服务(AKS)上运行的现代、可靠、安全且完全托管的平台即服务(PaaS)。 借助 AKS 上的 HDInsight,可以部署常用的 Open-Source Analytics 工作负载,如 Apache Spark™、Apache Flink®️ 和 Trino,而无需管理和监视容器的开销。

可以构建端到端的 PB 级大数据应用程序,涵盖通过 Apache Flink 的流处理、使用 Apache Spark 的数据工程与机器学习,以及 Trino 的强大查询引擎。

这些功能与 AKS 上注重开发人员的 HDInsight 相结合,使拥有深厚技术专长的企业和数字原住民能够构建和运营适合其需求的应用程序。 使用 AKS 上的 HDInsight,开发人员可以访问开源软件提供的所有丰富配置,以及无缝包含其他生态系统产品/服务的扩展性。 此产品/服务使开发人员能够测试和优化其应用程序,以以最佳成本提取最佳性能。

注意

若要了解 AKS 版本控制和支持方面的 HDInsight,请参阅 版本控制架构

有关此版本当前公共预览版中功能的所有详细信息,请参阅 新增功能 页。

重要

AKS 上的 HDInsight 使用安全部署做法,涉及逐步在各地区部署。 新版本或新版本可能需要长达 10 个工作日才能在所有区域中可用。

发布信息

发布日期:2024 年 9 月 5 日

此版本适用于以下

  • 群集池版本:1.2
  • 群集版本:1.2.1
  • AKS 版本:1.27

更新

最新的 API 版本版本如下所示。

https://github.com/Azure/azure-rest-api-specs/blob/main/specification/hdinsight/resource-manager/Microsoft.HDInsight/HDInsightOnAks/preview/2024-05-01-preview/hdinsight.json

重要

若要充分利用所有这些 最新功能,需要使用 1.2 和群集版本 1.2.1 创建新的群集池

已知问题

  • 工作负荷标识限制:
    • 转换为工作负荷标识时,存在已知的限制 。 此限制是由于 FIC 操作的权限敏感性质所导致的。 用户无法通过删除资源组来执行群集删除。 群集删除请求必须由具有 FIC/delete 权限的应用程序/用户/主体触发。 如果 FIC 删除失败,高级群集删除也会失败。
    • 用户分配托管标识 (UAMI) 支持 – 每个 UAMI 限于 20 个 FIC。 您只能在一个身份上创建 20 个联合凭据。 在 AKS 群集上的 HDInsight 中,FIC(联合标识凭据)和 SA 具有一对一映射,并且只能针对 MSI 创建 20 个 SA。 如果要创建更多群集,则需要提供不同的 MSIS 来克服这些限制。
    • 这些区域中,目前不支持在用户分配的托管标识上创建联合身份凭据

操作系统版本

  • Mariner OS 2.0

工作负荷版本

工作量 版本
Trino 440
Flink 1.17.0
Apache Spark 3.4

支持的 Java 和 Scala 版本

工作量 爪哇岛 Scala
Trino 打开 JDK 21.0.2
Flink 打开 JDK 11.0.21 2.12.7
火花 打开 JDK 1.8.0_345 2.12.15

预览版在以下 区域中提供

如果还有其他问题,请联系 Azure 支持 或查看 支持选项页面。 如果你有与产品相关的反馈,请通过 aka.ms/askhdinsight给我们留言。

后续步骤