共用方式為

使用 Azure 入口網站在 HDInsight on AKS 中建立 Apache Flink® 叢集

  • 發行項

注意

AKS 上的 Azure HDInsight 將於 2025 年 1 月 31 日退場。 請於 2025 年 1 月 31 日之前，將工作負載移轉至 Microsoft Fabric 或對等的 Azure 產品，以免工作負載突然終止。 訂用帳戶中剩餘的叢集將會停止，並會從主機移除。

在淘汰日期之前，只有基本支援可用。

重要

此功能目前為預覽功能。 Microsoft Azure 預覽版增補使用規定包含適用於 Azure 功能 (搶鮮版 (Beta)、預覽版，或尚未正式發行的版本) 的更多法律條款。 若需此特定預覽版的相關資訊，請參閱 Azure HDInsight on AKS 預覽版資訊。 如有問題或功能建議，請在 AskHDInsight 上提交要求並附上詳細資料，並且在 Azure HDInsight 社群上追蹤我們以獲得更多更新資訊。

完成下列步驟，在 Azure 入口網站上建立 Apache Flink 叢集。

必要條件

完成下列各節中的必要條件：

重要

  • 若要在新叢集集區中建立叢集，請在資源必要條件中建立的使用者指派受控識別上，指派 AKS 代理程式集區 MSI (受控識別操作員) 角色。 如果您有必要權限，此步驟會在建立期間自動執行。
  • AKS 代理程式集區受控識別會在叢集集區建立期間建立。 您可以透過 (您的叢集集集名稱)-代理程式集區來識別 AKS agentpool 受控識別。 請遵循下列步驟來指派角色。

Flink 叢集可在叢集集區部署完成後建立，讓我們來一一完成從使用現有叢集集區開始的步驟

  1. 在 Azure 入口網站中，輸入 HDInsight 叢集集區/HDInsight/HDInsight on AKS，然後選取 [Azure HDInsight on AKS 叢集集區] 以移至叢集集區頁面。 在 HDInsight on AKS 叢集集區頁面上，選取您要在其中建立新 Flink 叢集的叢集集區。

    圖表顯示 Azure 入口網站中的搜尋列。

  2. 在特定叢集集區頁面上，按一下 [+ 新增叢集]，並提供下列資訊：

    屬性 描述
    訂用帳戶 此欄位會自動填入已註冊叢集集區的 Azure 訂用帳戶。
    資源群組 此欄位會自動填入，並顯示叢集集區上的資源群組。
    區域 此欄位會自動填入，並顯示叢集集區上選取的區域。
    叢集集區 此欄位會自動填入資料，並顯示現在正在建立叢集的叢集集區名稱。 若要在不同的集區中建立叢集，請在入口網站中尋找該叢集集區，然後按一下 [+ 新增叢集]。
    AKS 集區版本上的 HDInsight 此欄位會自動填入，並顯示現在建立叢集所在的叢集集區版本。
    HDInsight on AKS 版本 選取新叢集的 HDInsight on AKS 次要或修補版本。
    叢集類型 從下拉式清單中，選取 [Flink]。
    叢集名稱 輸入新叢集的名稱。
    使用者指派的受控識別 從下拉式清單中，選取要與叢集搭配使用的受控識別。 如果您是受控服務識別 (MSI) 的擁有者，且 MSI 在叢集上沒有受控識別操作員角色，請按一下方塊下方的連結，指派 AKS 代理程式集區 MSI 所需的權限。 如果 MSI 已有正確的權限，則不會顯示任何連結。 請參閱必要條件，了解 MSI 所需的其他角色指派。
    儲存體帳戶 從下拉式清單中，選取要與 Flink 叢集建立關聯的儲存體帳戶，並指定容器名稱。 在叢集建立期間，受控識別會透過使用「儲存體 Blob 資料擁有者」角色進一步獲得指定儲存體帳戶的存取權。
    虛擬網路 叢集的虛擬網路。
    子網路 叢集的虛擬子網路。

  3. 啟用 Flink SQL 的 Hive 目錄。

    屬性 說明
    使用 Hive 目錄 啟用此選項以使用外部 Hive 中繼存放區。
    Hive 的 SQL Database 從下拉式清單中，選取要在其中新增 hive-metastore 資料表的 SQL Database。
    SQL 管理員使用者名稱 輸入 SQL 伺服器管理使用者名稱。 中繼存放區會使用此帳戶來與 SQL 資料庫通訊。
    金鑰保存庫 從下拉式清單中選取 Key Vault，其中包含的祕密具有 SQL 伺服器管理使用者名稱的密碼。 您必須使用 MSI 的金鑰權限、祕密權限和憑證權限等所有必要權限來設定存取原則，以用於建立叢集。 MSI 需要 Key Vault 管理員角色，請使用 IAM 新增必要的權限。
    SQL 密碼的祕密名稱 從儲存 SQL 資料庫密碼的 Key Vault 輸入祕密名稱。

    顯示基本索引標籤的螢幕擷取畫面。

    注意

    根據預設，我們會使用 Hive 目錄的儲存體帳戶，如同叢集建立期間所使用的儲存體帳戶和容器。

  4. 選取 [下一步：設定] 以繼續。

  5. 在 [設定] 頁面上，提供下列資訊：

    屬性 說明
    節點大小 選取要用於 Flink 前端節點和背景工作節點的節點大小。
    節點數目 選取 Flink 叢集的節點數目;根據預設，前端節點為兩個。 背景工作節點的大小調整有助於決定 Flink 的工作管理員設定。 作業管理員和歷程記錄伺服器位於前端節點上。

  6. 在 [服務設定] 區段上，提供下列資訊：

    屬性 說明
    工作管理員 CPU Integer (整數)。 輸入工作管理員 CPU 的大小 (核心數)。
    工作管理員記憶體 (MB) 輸入工作管理元的記憶體大小 (MB)。 最小值為 1800 MB。
    作業管理員 CPU Integer (整數)。 輸入作業管理員的 CPU 數目 (核心數)。
    作業管理員記憶體 (MB) 輸入記憶體大小 (MB)。 最小值為 1800 MB。
    歷程記錄伺服器 CPU Integer (整數)。 輸入作業管理員的 CPU 數目 (核心數)。
    歷程記錄伺服器記憶體 (MB) 輸入記憶體大小 (MB)。 最小值為 1800 MB。

    顯示組態索引標籤的螢幕擷取畫面。

    注意

    • 歷程記錄伺服器可以視需要啟用/停用。
    • Flink 支援排程型自動調整。 您可以視需要排定背景工作節點數目。 例如，啟用預設背景工作節點計數為 3 的排程型自動調整。 在工作日 9:00 (UTC) 到 20:00 (UTC) 期間，背景工作節點排定為 10 個。 在當天晚些時候，則必須預設為 3 個節點 (從20:00 (UTC) 到次日 09:00 (UTC) 之間)。 周末期間的 9:00 (UTC) 到 20:00 (UTC)，背景工作節點為 4 個。

  7. 在 [自動調整和 SSH] 區段上，更新下列內容：

    屬性 說明
    自動擴充 選取時，您可以選擇排程型自動調整，以設定調整作業的排程。
    啟用 SSH 選取時，您可以選擇所需的 SSH 節點總數，也就是使用安全殼層的 Flink CLI 存取點。 允許的 SSH 節點上限為 5 個。

    顯示自動調整服務組態的螢幕擷取畫面。

    顯示自動調整規則的螢幕擷取畫面。

  8. 按一下 [下一步：整合] 按鈕以繼續下一頁。

  9. 在 [整合] 頁面上，提供下列資訊：

    屬性 說明
    Log Analytics 只有在叢集集區具有相關聯的記錄分析工作區時，才能使用此功能，一旦啟用，即可選取要收集的記錄。
    Azure Prometheus 此功能會將計量與記錄傳送到 Azure 監視器工作區，以便直接在叢集中檢視深入解析與記錄。

    顯示整合索引標籤的螢幕擷取畫面。

  10. 按一下 [下一步：標籤] 按鈕以繼續下一頁。

  11. 在 [標籤] 頁面上，提供下列資訊：

    屬性 描述
    Name 選擇性。 輸入 HDInsight on AKS 之類的名稱，以輕鬆識別與您叢集資源相關聯的所有資源。
    值 您可以讓此處保持空白。
    資源 選取 [所有選取的資源]。

  12. 選取 [下一步: 檢閱 + 建立] 以繼續。

  13. 在 [檢閱 + 建立] 頁面上，尋找頁面頂端的 [驗證成功] 訊息，然後按一下 [建立]。

建立叢集時會顯示 [部署正在處理中] 頁面。 建立叢集需要 5-10 分鐘的時間。 建立叢集之後，即會顯示「您的部署已完成」 訊息。 如果您離開頁面，您可以檢查 [通知] 以了解目前狀態。

注意

Apache、Apache Flink、Flink 和相關聯的開放原始碼專案名稱為 Apache Software Foundation (ASF) 的 商標。