通过

使用 Azure 门户在 AKS 上的 HDInsight 中创建 Apache Flink® 群集

  • 项目

重要

AKS 上的 Azure HDInsight 已于 2025 年 1 月 31 日停用。 了解此公告的详细信息。

需要将工作负荷迁移到 Microsoft Fabric 或等效的 Azure 产品，以避免工作负荷突然终止。

重要

此功能目前以预览版提供。 Microsoft Azure 预览版的补充使用条款 包括适用于 beta 版、预览版或尚未正式发布的 Azure 功能的更多法律条款。 有关此特定预览版的信息，请参阅 AKS 上的 Azure HDInsight 预览信息。 有关问题或功能建议，请在 AskHDInsight 上提交请求，并附上详细信息。关注我们以获取 Azure HDInsight 社区 的更多更新。

完成以下步骤，在 Azure 门户中创建 Apache Flink 群集。

先决条件

完成以下部分中的先决条件：

重要

  • 若要在新群集池中创建群集，请将 AKS 代理池 MSI“托管标识作员”角色分配给作为资源先决条件的一部分创建的用户分配的托管标识。 如果拥有所需的权限，则此步骤在创建过程中是自动化的。
  • AKS 代理池托管标识在集群池创建过程中创建。 可以通过 （您的群集池名称）-agentpool，来识别 AKS 代理池的托管身份。 按照以下步骤将角色 分配到。

群集池部署完成后，可以创建 Flink 群集，让我们了解开始使用现有群集池的步骤

  1. 在 Azure 门户中，键入 HDInsight 群集池/HDInsight/HDInsight on AKS，然后选择 AKS 群集池上的 Azure HDInsight，以进入群集池页。 在 AKS 的 HDInsight 群集池页面上，选择您希望在其中创建新 Flink 群集的群集池。

    显示 Azure 门户中搜索栏的图示。

  2. 在特定的群集池页上，单击“+ 新建群集” 并提供以下信息：

    财产 描述
    订阅 此字段会自动填充您为群集池注册的 Azure 订阅。
    资源组 此字段会自动填充，并显示群集池上的资源组。
    地区 此字段会自动填充，并显示群集池上选定的区域。
    群集池 此字段会自动填充，并显示群集正在创建的群集池名称。 若要在不同的池中创建群集，请在门户中找到该群集池，然后单击 + 新建群集。
    AKS 池版本的 HDInsight 此字段会自动填充，并显示当前正在创建的群集所使用的群集池版本。
    AKS 版本的 HDInsight 在新群集的 AKS 上选择 HDInsight 的次要版本或修补程序版本。
    群集类型 从下拉列表中选择 Flink。
    群集名称 输入新群集的名称。
    用户分配的托管标识 从下拉列表中，选择要用于群集的托管标识。 如果你是托管服务标识（MSI）的所有者，并且 MSI 在群集上没有托管标识操作员角色，请单击框下方的链接，以授予 AKS 代理池 MSI 所需的权限。 如果 MSI 已具有正确的权限，则不显示任何链接。 有关 MSI 所需的其他角色分配，请参阅 先决条件。
    存储帐户 从下拉列表中，选择要与 Flink 群集关联的存储帐户并指定容器名称。 在群集创建期间，使用“存储 Blob 数据所有者”角色进一步授予托管标识对指定存储帐户的访问权限。
    虚拟网络 群集的虚拟网络。
    子网 群集的虚拟子网。

  3. 为 Flink SQL 启用 Hive 目录。

    财产 描述
    使用 Hive 目录 启用此选项以使用外部 Hive 元存储。
    Hive的SQL数据库 从下拉列表中，选择要在其中添加 hive 元存储表的 SQL 数据库。
    SQL 管理员用户名 输入 SQL Server 管理员用户名。 此帐户由元存储用来与 SQL 数据库通信。
    密钥保管库 从下拉列表中选择 Key Vault，其中包含具有 SQL Server 管理员用户名密码的机密。 需要设置具有所有所需权限的访问策略，例如密钥权限、机密权限和 MSI 的证书权限，该权限用于群集创建。 MSI 需要 Key Vault 管理员角色，使用 IAM 添加所需的权限。
    SQL 密码机密名称 输入存储 SQL 数据库密码的 Key Vault 中的机密名称。

    显示基本选项卡的 屏幕截图。

    注意

    默认情况下，我们将为 Hive 目录使用 存储帐户，这与群集创建期间使用的存储帐户和容器相同。

  4. 选择“下一步： 配置”以继续。

  5. 在 配置 页面上，提供以下信息：

    财产 描述
    节点大小 选择要用于 Flink 节点的头节点和工作节点的节点大小。
    节点数 选择 Flink 群集的节点数;默认情况下，头节点为 2。 工作器节点的大小调整有助于确定 Flink 的任务管理器配置。 作业管理器和历史记录服务器位于头节点上。

  6. 在 服务配置 部分中，提供以下信息：

    财产 描述
    任务管理器 CPU 整数。 输入任务管理器 CPU 的大小（以核心为单位）。
    任务管理器内存（以 MB 为单位） 输入任务管理器内存大小（以 MB 为单位）。 最小值为 1800 MB。
    作业管理器 CPU 整数。 输入作业管理器（核心）的 CPU 数。
    作业管理器内存（以 MB 为单位） 输入内存大小（以 MB 为单位）。 最小为 1800 MB。
    历史记录服务器 CPU 整数。 输入作业管理器（核心）的 CPU 数。
    历史记录服务器内存（以 MB 为单位） 输入内存大小（以 MB 为单位）。 最小为 1800 MB。

    显示“配置”选项卡的 屏幕截图。

    注意

    • 可以根据需要启用/禁用历史记录服务器。
    • Flink 支持基于计划的自动缩放。 可以根据需要安排工作节点的数量。 例如，系统启用了基于计划的自动扩展，默认的工作节点数量为3。 在工作日从 9:00 UTC 到 20:00 UTC 期间，工作节点计划设定为 10个。 当天晚些时候，需要设置为 3 个节点（20:00 UTC 至第二天 09:00 UTC 之间）。 在周末期间从 9:00 UTC 到 20:00 UTC，工作节点为 4。

  7. 在“自动缩放 & SSH”部分，更新以下内容：

    财产 描述
    自动缩放 选择后，您可以选择基于计划的自动缩放来配置缩放操作的计划。
    启用 SSH 选择后，可以选择所需的 SSH 节点总数，即使用安全外壳的 Flink CLI 的接入点。 允许的最大 SSH 节点为 5。

    显示自动缩放服务配置的 屏幕截图。

    显示自动缩放规则的屏幕截图。

  8. 单击 “下一步：集成”按钮继续转到下一页。

  9. 在 集成 页上，提供以下信息：

    财产 描述
    日志分析 仅当群集池具有关联的 Log Analytics 工作区时，此功能才可用，一旦启用要收集的日志即可被选中。
    Azure Prometheus 此功能是通过将指标和日志发送到 Azure Monitor 工作区，直接在群集中查看见解和日志。

    显示“集成”选项卡的 屏幕截图。

  10. 单击“下一步 ：标记”按钮继续转到下一页。

  11. 在标签页面上，提供以下信息：

    财产 描述
    名字 自选。 在 AKS 上输入 HDInsight 等名称，以轻松识别与群集资源关联的所有资源。
    价值 可以将此保留为空。
    资源 选择“所有资源”。

  12. 选择 下一步：查看 + 创建 以继续。

  13. 在 审阅 + 创建 页上，查找页面顶部的 验证成功 消息，然后单击 创建。

在部署过程中，显示了页面，该页面显示了群集的创建。 创建群集需要 5-10 分钟。 创建群集后，会显示 “部署已完成” 消息。 如果离开页面，可以检查通知的当前状态。

注意

Apache、Apache Flink、Flink 和关联的开源项目名称 Apache Software Foundation（ASF）的 商标。