共用方式為

使用 Azure 入口網站在 AKS 上的 HDInsight 中建立 Apache Flink® 叢集

  • 發行項

重要

AKS 上的 Azure HDInsight 於 2025 年 1 月 31 日淘汰。 透過此公告 深入瞭解。

您必須將工作負載移轉至 Microsoft Fabric 或對等 Azure 產品，以避免突然終止工作負載。

重要

這項功能目前為預覽狀態。 Microsoft Azure 預覽版的補充使用規定 包含適用於 Beta 版、預覽版或尚未正式發行之 Azure 功能的更合法條款。 如需此特定預覽的相關信息，請參閱 AKS 預覽資訊上的 Azure HDInsight。 如有問題或功能建議，請在 AskHDInsight 提交您的要求，並關注我們以獲取 Azure HDInsight 社群 的更多更新。

完成下列步驟，在 Azure 入口網站上建立 Apache Flink 叢集。

先決條件

完成下列各節中的必要條件：

重要

  • 若要在新的叢集池中建立叢集，請為作為資源必要條件創建的使用者指派的受控身份識別分配 AKS agentpool MSI 的「受控身份識別操作員」角色。 如果您有必要的許可權，此步驟會在創建過程中自動進行。
  • AKS agentpool 受管理身分識別會在叢集建立期間建立。 您可以藉由 （您的叢集名稱）-agentpool來識別 AKS 代理池的受管理識別。 請依照下列步驟來 指派這個角色。

一旦叢集池部署完成，就可以建立 Flink 叢集。讓我們在開始使用現有的叢集池時，詳細說明接下來的步驟。

  1. 在 Azure 入口網站中，輸入 HDInsight 叢集集區/HDInsight/HDInsight on AKS，然後選取 [Azure HDInsight on AKS 叢集集區] 以進入 [叢集集區] 頁面。 在 AKS 叢集池上的 [HDInsight] 頁面中，選擇您要在其中建立新 Flink 叢集的叢集池。

    顯示 Azure 入口網站中搜尋列的圖表。

  2. 在特定的叢集集區頁面上，按一下 [+ 新增叢集] 並提供下列資訊：

    財產 描述
    訂閱 此欄位會自動填入已註冊叢集集區的 Azure 訂用帳戶。
    資源群組 此欄位會自動填入，並在叢集集區上顯示資源群組。
    地區 此欄位會自動填入，並顯示叢集集區上選取的區域。
    叢集集區 此欄位會自動填入，並顯示叢集現在建立所在的叢集區名稱。 若要在不同的集區中建立叢集，請在入口網站中尋找該叢集集區，然後按兩下 [+ 新增叢集。
    HDInsight 在 AKS 集區版本上 此欄位會自動填入，並顯示叢集現在建立所在的叢集區版本。
    AKS 版本上的 HDInsight 選取新叢集 AKS 上的 HDInsight 次要或修補程式版本。
    叢集類型 從下拉式清單中，選取 [Flink]。
    叢集名稱 輸入新叢集的名稱。
    使用者指派的受控識別 從下拉式清單中，選取要與叢集搭配使用的受控識別。 如果您是受控服務識別（MSI）的擁有者，且 MSI 在叢集上沒有管理的識別操作員角色，請按方塊下方的連結，為 AKS 代理程式集區 MSI 設定所需的許可權。 如果 MSI 已有正確的許可權，則不會顯示任何連結。 如需 MSI 所需的其他角色指派，請參閱 必要條件。
    記憶體帳戶 從下拉式清單中，選取要與 Flink 叢集建立關聯的記憶體帳戶，並指定容器名稱。 受控識別會在叢集建立期間使用「記憶體 Blob 數據擁有者」角色，進一步授與指定記憶體帳戶的存取權。
    虛擬網路 叢集的虛擬網路。
    子網 叢集的虛擬子網。

  3. 為 Flink SQL 啟用 Hive 目錄。

    財產 描述
    使用 Hive 目錄 啟用此選項以使用外部 Hive 中繼存放區。
    Hive用的SQL資料庫 從下拉式清單中，選取要在其中新增 Hive Metastore 資料表的 SQL 資料庫。
    SQL 管理員用戶名稱 輸入 SQL Server 管理員用戶名稱。 中繼資料存放庫會使用此帳戶來與 SQL 資料庫通訊。
    金鑰保存庫 從下拉式清單中，選取 Key Vault，其中包含具有 SQL Server 管理員使用者名稱密碼的秘密。 您必須使用密鑰許可權、秘密許可權和 MSI 憑證許可權等所有必要許可權來設定存取原則，以用於建立叢集。 MSI 需要 Key Vault 系統管理員角色，請使用 IAM 新增必要的許可權。
    SQL 密碼的密鑰名稱 從儲存 SQL 資料庫密碼的 Key Vault 輸入秘密名稱。

    顯示基本索引標籤的螢幕快照。

    注意

    根據預設，我們會針對Hive目錄使用 儲存體帳戶，與叢集建立期間所使用的記憶體帳戶和容器相同。

  4. 選取 [下一步：設定 以繼續。

  5. 在 [配置] 頁面上，請提供下列資訊：

    財產 描述
    節點大小 選擇要用於Flink主節點和工作節點的節點大小。
    節點數目 選取 Flink 叢集的節點數目;根據預設，前端節點為兩個。 工作節點的大小配置有助於設定 Flink 的任務管理器配置。 作業管理員和歷程記錄伺服器位於前端節點上。

  6. 在 [服務組態] 區段上，提供下列資訊：

    財產 描述
    任務管理員中央處理器 整數。 輸入任務管理員 CPU 的大小（核心）。
    以 MB 為單位的工作管理員記憶體 以 MB 為單位輸入任務管理器記憶體大小。 最小值為 1800 MB。
    作業管理員 CPU 整數。 輸入作業管理員的CPU數目（核心）。
    作業管理員的記憶體（以 MB 為單位） 以 MB 為單位輸入記憶體大小。 至少 1800 MB。
    記錄伺服器 CPU 整數。 輸入作業管理員的CPU數目（核心）。
    以 MB 為單位的歷程記錄伺服器記憶體 以 MB 為單位輸入記憶體大小。 至少 1800 MB。

    螢幕快照，其中顯示「設定標籤」。

    注意

    • 記錄伺服器可以視需要啟用/停用。
    • Flink 支援以排程為基礎的自動縮放。 您可以根據需求配置工作節點的數量。 例如，已啟用排程型自動縮放，預設計算節點數為 3。 在工作日從 9:00 UTC 到 20:00 UTC 期間，工作節點計劃設定為 10 個。 在當天晚些時候，它必須預設為3個節點（從20：00 UTC到次日09：00 UTC之間）。 每逢週末的 9：00 至 20：00 UTC，工作節點共有 4 個。

  7. 在 [自動調整 & SSH] 區段上，更新下列內容：

    財產 描述
    自動調整 選取時，您可以選擇以排程為基礎的自動調整，以設定調整作業的排程。
    啟用 SSH 選取時，您可以選擇所需的 SSH 節點總數，也就是使用安全殼層的 Flink CLI 存取點。 允許的 SSH 節點上限為 5。

    顯示自動調整服務設定的螢幕快照。

    顯示自動縮放規則的螢幕快照。

  8. 按兩下 [下一步：整合] 按鈕，繼續下一頁。

  9. 在 [整合] 頁面上，提供下列資訊：

    財產 描述
    日誌分析 只有當叢集集區有關聯的記錄分析工作區時，此功能才可用。啟用後，可以選擇要收集的記錄。
    Azure Prometheus 此功能使您能夠將計量和記錄傳送至 Azure 監視器工作區，並直接在您的叢集檢視洞察和記錄。

    顯示「整合」標籤的螢幕快照。

  10. 按兩下 [下一步：標籤] 按鈕，繼續下一頁。

  11. 在 [標籤] 頁面上，請提供以下資訊：

    財產 描述
    名字 自選。 輸入 AKS 上的 HDInsight 之類的名稱，以輕鬆識別與叢集資源相關聯的所有資源。
    價值 您可以將此保留空白。
    資源 選取所有已選資源。

  12. 選取 [下一步：檢閱 + 建立 以繼續。

  13. 在 檢閱 + 建立 頁面上，在頁面頂端尋找 驗證成功 訊息，然後按一下 [建立 ]。

部署正在進行中，並顯示頁面，以此來建立叢集。 建立叢集需要 5-10 分鐘的時間。 建立叢集之後，會顯示 「您的部署已完成」 訊息。 如果您離開頁面，您可以檢查通知的目前狀態。

注意

Apache、Apache Flink、Flink 和相關聯的開放原始碼專案名稱 Apache Software Foundation （ASF） 商標。