快速入门:使用 Azure 门户在 AKS 群集池上创建 HDInsight

重要

AKS 上的 Azure HDInsight 已于 2025 年 1 月 31 日停用。 通过此公告 了解更多

需要将工作负荷迁移到 Microsoft Fabric 或等效的 Azure 产品,以避免工作负荷突然终止。

重要

此功能目前以预览版提供。 Microsoft Azure 预览版补充使用条款 包括适用于预览版、beta 版或尚未正式发布的 Azure 功能的更多法律条款。 有关此特定预览版的信息,请参阅 Azure HDInsight 在 AKS 的预览信息。 有关问题或功能建议,请在 AskHDInsight 上提交请求,并提供详细信息。关注 Azure HDInsight 社区,获取更多更新信息。

AKS 上的 HDInsight 引入了群集池和群集的概念,使你能够实现 Data Lakehouse 的完整价值。

  • 群集池 是群集的逻辑分组,并在同一池中维护一组群集,这有助于跨多个群集类型构建可靠的互作性。 可以在现有虚拟网络或虚拟网络外部创建它。

    AKS 上的 HDInsight 中的群集池对应于 AKS 基础结构中的一个群集。

  • 群集 是可在同一群集池中创建的单个计算工作负荷,例如 Apache Spark、Apache Flink 或 Trino。

对于每个群集类型,必须具有群集池。 它可以独立创建,也可以在创建群集期间创建新的群集池。 本快速入门介绍如何使用 Azure 门户创建群集池。

先决条件

在创建群集池之前,请确保已完成 订阅先决条件

创建群集池

以下步骤将独立说明群集池的创建。 创建集群时,集群池可以使用相同的选项。

  1. 登录到 Azure 门户

  2. 在 Azure 门户搜索栏中,在 AKS 群集池 键入 HDInsight,然后从下拉列表中选择 AKS 群集池上的 Azure HDInsight

    显示在 Azure 门户中的搜索栏图示。

  3. 单击 + 创建

    显示“创建”按钮的 关系图。

  4. 在“基本信息”选项卡上,输入以下信息:

    显示群集池创建基本选项卡的图示。

    财产 描述
    订阅 从下拉列表中,选择要在 AKS 群集池上创建 HDInsight 的 Azure 订阅。
    资源组 从下拉列表中选择现有资源组,或选择 创建新资源组。
    池名称 输入要创建的群集池的名称。 群集池名称长度不能超过 26 个字符。 它必须以字母顺序开头,以字母数字字符结尾,并且只能包含字母数字字符和连字符。
    地区 从下拉列表中,选择群集池的区域。 检查 区域可用性。 对于虚拟网络中的群集池,虚拟网络和群集池的区域必须相同。
    群集池版本 从下拉列表中选择 HDInsight on AKS 群集池版本。
    虚拟机 从下拉列表中,根据要求选择群集池的虚拟机大小。
    托管资源组 (可选)为托管资源组提供名称。 它保存由 AKS 上的 HDInsight 创建的辅助资源。

    选择“下一步:安全 + 网络”以继续。

  5. 安全 + 网络 页上,提供以下信息:

    显示群集池创建网络和安全选项卡的关系图。

    财产 描述
    虚拟网络(VNet) 从下拉列表中选择一个虚拟网络,该虚拟网络与群集池位于同一区域。
    子网 从下拉列表中,选择要与群集池关联的子网的名称。
    出口路径 从下拉列表中,选择群集的出口路径。
    私有 AKS 启用专用 AKS 以确保 AKS 控制平面/Kube API 服务器与群集之间的网络流量保留在专用网络上。

    请选择 ,然后点击“下一步:集成” 继续。

  6. 集成 页面上,请提供以下信息:

    显示群集池创建集成选项卡的 关系图。

    财产 描述
    日志分析 (可选)选择此选项可让 Log Analytics 通过向 Log Analytics 工作区发送指标和日志,直接在群集中查看见解和日志。 还可以在创建群集池后启用此选项。
    Azure 托管 Prometheus (可选)通过向 Azure Monitor 工作区发送指标和日志,使 Azure 托管 Prometheus 能够直接在群集中查看见解和日志。 还可以在创建群集池后启用此选项。

    选择 下一步:查看 + 创建 以继续。

  7. 复审 + 创建 页面上,在页面顶部查找 验证成功 信息,然后单击 创建

    创建群集池时,会显示 部署 页,部署完成页面 在群集池完全部署并可供使用后显示。

    显示群集池评审和创建选项卡的 关系图。

    如果离开页面,可以通过单击 Azure 门户中的“通知”图标来检查部署的状态。

群集池部署完成后,继续使用 Azure 门户创建 TrinoFlink,以及 Spark 群集。

清理资源

如果不再需要资源,请清理不必要的资源以避免 Azure 费用。 可以删除资源组、群集池和资源组中的所有其他资源。

  1. 选择资源组。
  2. 在资源组的页面上,选择“删除资源组”。
  3. 出现提示时,键入资源组的名称,然后选择“删除”。

注意

若要删除群集池,请确保群集池中没有活动群集。

提示

若要排查任何部署错误,可参考此

后续步骤