AKS 上的 HDInsight 有哪些新增功能？ （预览版）
重要
AKS 上的 Azure HDInsight 已于 2025 年 1 月 31 日停用。 了解更多信息，请查看此公告。
需要将工作负荷迁移到 Microsoft Fabric 或等效的 Azure 产品，以避免工作负荷突然终止。
重要
此功能目前以预览版提供。 Microsoft Azure 预览版补充使用条款 包括适用于 beta 版、预览版或尚未正式发布的 Azure 功能的更多法律条款。 有关此特定预览的信息，请参阅 Azure HDInsight on AKS 的预览信息。 有关问题或功能建议，请在 AskHDInsight 上提交请求，并提供详细信息。请关注我们以获取 Azure HDInsight 社区 的更多更新。
在 AKS 上的 HDInsight 中，所有群集管理和操作都在 Azure 门户上为单个群集的 服务管理 提供本机支持。
在 AKS 上的 HDInsight 中，引入了两个新概念：
- 群集池 用于对群集进行分组和管理。
- 群集 用于开源计算，它们托管在群集池中。
群集池
AKS 上的 HDInsight 在 Azure Kubernetes 服务（AKS）上运行。 顶级资源是群集池，管理在同一 AKS 群集上运行的所有群集。 创建群集池时，会同时创建基础 AKS 群集以托管池中的所有群集。 群集池是群集的逻辑分组，有助于跨多个群集类型构建可靠的互作性，并允许企业在同一虚拟网络中拥有群集。 群集池提供对按需和大规模创建的所有群集类型的快速且经济高效的访问。一个群集池对应于 AKS 基础结构中的一个群集。
集群
群集是单独的开源计算工作负载，例如 Apache Spark、Apache Flink 和 Trino，可以在几分钟内快速创建，只需预设配置和单击几下即可快速创建。 尽管在同一群集池上运行，但每个群集可以有自己的配置，例如群集类型、版本、节点 VM 大小、节点计数。 群集在其自己的 DNS 和终结点的分隔计算资源上运行。
当前处于预览状态的功能
下表列出了当前处于预览状态的 AKS 上的 HDInsight 功能。 预览功能按字母顺序排序。
| 面积 | 特征 |
|---|---|
| 基础 | 创建池和群集 使用门户、Web 安全外壳（ssh）支持、能够在创建群集期间选择工作节点数 |
| 存储 | ADLS Gen2 存储 支持 |
| 元存储 | 外部元存储支持 Trino、Spark 和 Flink，与 HDInsight 集成 |
| 安全 | 支持 ARM RBAC、支持基于 MSI 的身份验证、向其他用户提供 群集 访问的选项 |
| 日志记录和监控 | Azure Log Analytics中的日志聚合，用于通过 托管 Prometheus 和 Grafana获取服务器日志、群集和服务指标，支持 azure monitor中的服务器指标，用于监视 服务运行状况 |
| 自动缩放 | 基于负载的 自动缩放，以及基于计划的 自动缩放 |
| 自定义和配置群集 | 支持在群集创建期间执行 脚本操作，支持 库管理，群集创建后进行 服务配置 设置。 |
| Trino | 支持 Trino 目录、Trino CLI支持、DBeaver 查询提交支持，添加或删除 插件 和 连接器，支持 日志记录查询 事件，支持 扫描查询统计信息 在 Trino 仪表板中的任何 连接器，支持 Trino 仪表板 监视查询，查询缓存，与 Power BI 集成、与 Apache Superset集成、Redash、支持多个 连接器 |
| Flink | 支持 Flink 本机 Web UI、Flink 支持 HMS DStream、使用 REST API 和 Azure 门户将作业提交到群集，通过 Flink CLI运行打包为 JAR 文件的程序，支持持久保存点，支持在作业运行时更新配置选项，连接到多个 Azure 服务： Azure Cosmos DB、Azure Databricks、Azure 数据资源管理器、Azure 事件中心、Azure IoT 中心、Azure Pipelines、Azure 数据工厂工作流业务流程管理器、HDInsight Kafka、使用 Flink Flink CLI 将作业提交到群集，并使用 Flink CDC |
| 火花 | Jupyter Notebook、支持 Delta lake 2.0、支持 Zeppelin、支持 ATS、支持 Yarn History 服务器界面、使用 SSH 提交作业、使用 SDK 提交作业以及 机器学习笔记本 |
功能路线图
| 功能 | 估计发布时间线 | 地位 |
|---|---|---|
| 自动缩放 - 基于负载 - Trino | 2024年第一季度 | 完成 |
| Spark 的随机感知负载自动缩放 | 2024年第二季度 | 正在进行中 |
| 就地升级 | 2024年第二季度 | 完成 |
| 预留实例支持 | 2024年第二季度 | 正在进行中 |
| 基于 MSI 的元存储身份验证（SQL） | 2024年第一季度 | 正在进行中 |
| Spark 3.4 | 2024年第二季度 | 正在进行中 |
| Trino 426 | 2024年第一季度 | 完成 |
| 用于 RBAC 的 Ranger | 2024年第二季度 | 正在进行中 |
| 对 Flink 的 应用模式支持 | 2024年第一季度 | 完成 |
| Flink 1.17 | 2024年第一季度 | 完成 |
| Spark ACID 支持 | 2024年第一季度 | 正在进行中 |
| 头节点、SSH 的可配置 SKU | 2024年第二季度 | 正在进行中 |
| Flink SQL 网关支持 | 2024年第一季度 | 完成 |
| AKS 上的 HDInsight 专用群集 | 2024年第一季度 | 完成 |
| Ranger 对 Spark SQL 的支持 | 2024年第4季度 | 正在进行中 |
| 存储层上的 Ranger ACL | 2024年第四季度 | 正在进行中 |
| 支持将 One Lake 用作主容器 | 2024年第二季度 | 正在进行中 |