共用方式為

資源必要條件

  • 發行項

重要

AKS 上的 Azure HDInsight 於 2025 年 1 月 31 日淘汰。 透過此公告 深入瞭解。

您必須將工作負載移轉至 Microsoft Fabric 或對等 Azure 產品，以避免突然終止工作負載。

重要

這項功能目前為預覽狀態。 Microsoft Azure 預覽版的補充使用規定 包含適用於 Beta 版、預覽版或尚未正式發行之 Azure 功能的更合法條款。 如需此特定預覽的相關資訊，請參閱 AKS 預覽資訊上的 Azure HDInsight。 如有問題或功能建議，請在 AskHDInsight 提交請求，並關注我們以獲取 Azure HDInsight 社群的更多更新。

本文詳細說明開始使用 AKS 上的 HDInsight 所需的資源。 其涵蓋必要和選擇性資源，以及如何建立它們。

必要資源

下表描述根據叢集類型建立叢集所需的必要資源。

工作量 受控服務識別 （MSI） 存儲 SQL Server - SQL Database Key Vault
Trino ✅
Flink ✅ ✅
火花 ✅ ✅
Trino、Flink 或 Spark 配合 Hive 元數據儲存庫（HMS） ✅ ✅ ✅ ✅

注意

MSI 會作為跨資源驗證和授權的安全性標準，但 SQL Database 除外。 角色指派會在部署以授權 MSI 到記憶體之前發生，而秘密會儲存在 SQL Database 的密鑰保存庫中。 記憶體支援與 ADLS Gen2 搭配使用，並做為計算引擎的數據存放區，而 SQL Database 則用於 Hive 中繼存放區上的數據表管理。

選擇性資源

注意

  • VNet 需要子網，而不需要任何與其相關聯的現有路由表。
  • AKS 上的 HDInsight 可讓您自備 VNet 和子網，讓您自定義 網路需求， 以符合企業的需求。
  • Azure Log Analytics 工作區是可選擇性的，如果您希望使用 Azure 監視器的功能，例如 Azure Log Analytics，就需要事先建立工作區。

您可以透過兩種方式建立必要的資源：

使用ARM範本

下列 ARM 範本可讓您建立指定的必要資源，只要按下即可使用資源前置詞，並視需要提供更多詳細數據。

例如，如果您提供資源前置詞作為「示範」，則會根據您選取的範本，在您的資源群組中建立下列資源 -

  • MSI 被建立並命名為 demoMSI。
  • 儲存會建立名稱為 demostore，並且有一個容器為 democontainer。
  • 金鑰保存庫已建立，名稱為 demoKeyVault，且密鑰已作為範本中的參數提供。
  • 在建立 Azure SQL 資料庫時，資料庫名稱為 demoSqlDB，且 SQL Server 的名稱為 demoSqlServer。
工作量 先決條件
Trino 建立所述的資源，如下所示：
1.受控服務識別（MSI）：使用者指派的受控識別。

將 Trino 部署至 Azure
Flink 建立所述的資源，如下所示：
1.受控服務識別（MSI）：使用者指派的受控識別。
2.ADLS Gen2 記憶體帳戶和容器。

角色指派：
1.將「記憶體 Blob 數據擁有者」角色指派給記憶體帳戶上的使用者指派 MSI。

將 Apache Flink 部署至 Azure
火花 建立所述的資源，如下所示：
1.受控服務識別（MSI）：使用者指派的受控識別。
2.ADLS Gen2 記憶體帳戶和容器。

角色指派：
1. 將「儲存體 Blob 數據擁有者」角色指派給存儲帳戶上的使用者指派 MSI。

將 Spark 部署至 Azure
Trino、Flink 或 Spark 與 Hive 中繼存放區（HMS） 建立所述的資源，如下所示：
1.受控服務識別（MSI）：使用者指派的受控識別。
2.ADLS Gen2 記憶體帳戶和容器。
3.Azure SQL Server 和 SQL Database。
4.Azure Key Vault 和用來儲存 SQL Server 系統管理員認證的秘密。

角色指派：
1. 將「儲存體 Blob 資料擁有者」角色指派給儲存帳戶中的使用者指派 MSI。
2.將「Key Vault 秘密使用者」角色指派給Key Vault上的使用者指派 MSI。

將 Trino HMS 部署至 Azure

注意

使用這些 ARM 範本時，用戶必須具備建立新資源的許可權，並將角色指派給訂用帳戶中的資源。

使用 Azure 入口網站

建立使用者指派的受控識別 （MSI）

受控身分識別是註冊在 Microsoft Entra ID （Microsoft Entra ID）中的一種身分識別，其憑證由 Azure 管理。 使用受控識別時，您不需要在 Microsoft Entra ID 中註冊服務主體，以維護認證，例如憑證。

AKS 上的 HDInsight 依賴使用者指派的 MSI 來實現不同元件之間的通訊。

建立記憶體帳戶 – ADLS Gen 2

記憶體帳戶會作為叢集記錄和其他輸出的預設位置。 在記憶體帳戶建立期間啟用階層命名空間，以作為ADLS Gen2記憶體使用。

  1. 指派角色：將「儲存體 Blob 資料擁有者」角色指派給為此儲存體帳戶建立的使用者指派的 MSI。

  2. 建立容器：建立記憶體帳戶之後，請在記憶體帳戶中建立容器。

注意

您也可以選擇在叢集建立期間建立容器。

建立 Azure SQL Database

建立 Azure SQL Database，以在叢集建立期間做為外部中繼存放區，或者您可以使用現有的 SQL Database。 不過，請確定已設定下列屬性。

為 SQL Server 和 SQL Database 啟用的必要屬性-

資源類型 財產 描述
SQL Server 驗證方法 建立 SQL Server 時，請使用 “Authentication method” 作為
顯示如何選取驗證方法的螢幕快照。
SQL 資料庫 允許 Azure 服務和資源存取此伺服器 在 Azure 入口網站中 SQL 資料庫的 [網络] 刀鋒視窗底下啟用此屬性。

注意

  • 目前，我們僅支援 Azure SQL Database 作為內建中繼存放區。
  • 由於Hive限制，不支援中繼存放區資料庫名稱中的 “-” （連字元） 字元。
  • Azure SQL Database 應該位於與叢集相同的區域中。
  • 您也可以選擇在叢集建立期間建立 SQL Database。 不過，您必須重新整理叢集建立頁面，以取得新建立的資料庫會出現在下拉式清單中。

建立 Azure Key Vault

Key Vault 可讓您在 SQL Database 建立期間儲存 SQL Server 管理員密碼集。 AKS 平臺上的 HDInsight 不會直接處理認證。 因此，您必須將重要認證儲存在 Key Vault 中。

  1. 指派角色：將「金鑰保存庫秘密使用者」角色指派給作為此 Key Vault 必要資源的一部分所建立的使用者指派 MSI。

  2. 建立秘密：此步驟可讓您將 SQL Server 系統管理員密碼保留為 Azure Key Vault 中的秘密。 在建立秘密時，在 [值] 字段中新增密碼。

注意

  • 請務必記下機密名稱，因為這是在叢集建立期間的必要條件。
  • 您需要將「Key Vault 系統管理員」角色指派給您的身分識別或帳戶，才能透過 Azure 入口網站在 Key Vault 中新增一個秘密。 進入 Key Vault，按照 的步驟來指派角色。