共用方式為

AKS 封存版本資訊上的 Azure HDInsight

  • 發行項

重要

AKS 上的 Azure HDInsight 於 2025 年 1 月 31 日淘汰。 透過此公告 深入瞭解。

您必須將工作負載移轉至 Microsoft Fabric 或對等 Azure 產品，以避免突然終止工作負載。

重要

這項功能目前為預覽狀態。 Microsoft Azure 預覽版的補充使用規定 包含適用於 Beta 版、預覽版或尚未正式發行之 Azure 功能的更合法條款。 如需此特定預覽的相關資訊，請參閱 AKS 預覽資訊上的 Azure HDInsight。 如有任何問題或功能建議，請在 AskHDInsight 提交請求，並關注我們以獲取 Azure HDInsight 社群 的更多最新消息。

AKS 上的 Azure HDInsight 是企業客戶中最受歡迎的服務之一，可用於 Azure 上的開放原始碼分析。 如果您要訂閱版本資訊，請觀看此 GitHub 存放庫上的版本。

發行日期：2024 年 8 月 5 日

此版本適用於下列

  • 叢集集區版本：1.2
  • 叢集版本：1.2.1
  • AKS 版本：1.27

新功能

MSI 型 SQL 驗證 用戶現在可以使用 MSI 來驗證外部 Azure SQL DB 中繼存放區，而不是使用者標識符密碼驗證。 這項功能有助於進一步保護與 Metastore 的叢集連線安全。

可設定前端節點的 VM SKU、SSH 節點 此功能可讓使用者選擇前端節點、背景工作節點和 SSH 節點的特定 SKU，提供根據使用案例選擇的彈性，以及降低總擁有成本 （TCO） 的可能性。

叢集中的多個 MSI 使用者可以設定多個 MSI，以進行叢集管理員作業和作業相關的資源存取。 這項功能可讓用戶劃定和控制記憶體帳戶中叢集和數據上的存取權。 例如，一個 MSI 可用來存取儲存帳戶中的資料，以及用於叢集作業的專用 MSI。

更新

文稿動作 腳本動作現在可以使用 Sudo 使用者許可權新增。 用戶現在可以安裝多個相依套件，包括自訂的 jar，以視需要自定義叢集。

圖書館管理 本次版本將 Maven 存放庫的快捷功能新增至圖書館管理。 用戶現在可以直接從開放原始碼存放庫安裝 Maven 相依性。

Spark 3.4 Spark 3.4 更新帶來一系列新功能

  • API 增強功能
  • 結構化串流改善
  • 改善可用性和開發人員體驗

重要

若要利用所有這些 最新功能，您必須建立具有 1.2 和叢集 1.2.1 版的新叢集集區

已知問題

  • 工作負載身分識別限制：
    • 轉換至工作負載身分識別時，有已知的 限制。 這項限制是因為 FIC 作業的許可權敏感性本質所造成。 使用者無法藉由刪除資源群組來執行叢集刪除。 叢集刪除要求必須由具有 FIC/delete 許可權的應用程式/使用者/主體觸發。 如果 FIC 刪除失敗，高階叢集刪除也會失敗。
    • 使用者指派的受控識別（UAMI） 支援——每個 UAMI 有 20 個 FIC 的限制。 您只能在身分識別上建立 20 個同盟認證。 在 AKS 叢集的 HDInsight 中，FIC（同盟身分識別認證）和 SA 具有一對一對應，而且只能針對 MSI 建立 20 個 SA。 如果您想要建立更多叢集，則必須提供不同的 MSIS 來克服限制。
    • 在 這些區域建立的使用者指派受控識別，目前不支援建立聯邦身分識別憑證

作業系統版本

  • Mariner OS 2.0

工作負載版本

工作量 版本
Trino 440
Flink 1.17.0
Apache Spark 3.4

支援的 Java 和 Scala 版本

工作量 爪哇島 Scala 程式語言
Trino 開啟 JDK 21.0.2 - 
Flink 開啟 JDK 11.0.21 2.12.7
火花 開啟 JDK 1.8.0_345 2.12.15

預覽可在下列 區域中取得，。

如果您有更多問題，請連絡 Azure 支援，或參閱 支援選項 頁面。 如果您有產品特定的意見反應，請將意見反應提交到 aka.ms/askhdinsight。

發行日期：2024 年 3 月 20 日

此版本適用於下列

  • 叢集集區版本：1.1
  • 叢集版本：1.1.1
  • AKS 版本：1.27

新功能

Apache Flink 應用程式模式叢集

應用程式模式叢集的設計是為了支援大型和長時間執行作業的專用資源。 當您有大量資源或廣泛的數據處理工作時，可以使用 應用程式模式叢集。 此模式可讓您為特定的 Apache Flink 應用程式配置專用資源，確保它們具有必要的運算能力和記憶體，以有效處理大型工作負載。

如需詳細資訊，請參閱 HDInsight on AKS 上的 Apache Flink 應用程式模式叢集 。

HDInsight 在 AKS 上的私有叢集

使用私人叢集和輸出叢集設定，您現在可以控制 AKS 叢集區和叢集上 HDInsight 的輸入和輸出流量。

  • 當您選擇搭配負載平衡器使用輸出叢集集區時，請使用 Azure 防火牆或網路安全組 （NSG） 來控制輸出流量。
  • 使用輸出叢集集區搭配使用者定義的路由來控制子網層級的輸出流量。
  • 使用私人 AKS 叢集功能 - 確保 AKS 控制平面或 API 伺服器具有內部 IP 位址。 AKS 控制平面/API 伺服器與 AKS 節點集區（叢集）上的 HDInsight 之間的網路流量只會保留在私有網路上。
  • 避免為叢集建立公用IP。 在您的叢集上使用私人入口功能。

如需詳細資訊，請參閱 在 AKS 叢集集集區和叢集上控制來自 HDInsight 的網路流量。

就地升級

使用最新的軟體更新升級您的叢集和叢集集區。 這表示您可以享受最新的叢集套件 Hotfix、安全性更新和 AKS 修補程式，而不需要重新建立叢集。 如需詳細資訊，請參閱 在 AKS 叢集和群集中升級 HDInsight。

重要

若要利用所有這些 最新功能，您必須建立具有 1.1 和叢集 1.1.1 版的新叢集集區。

已知問題

  • 工作負載身分識別限制：
    • 轉換至工作負載身分識別時，有已知的 限制。 這項限制是因為 FIC 作業的許可權敏感性本質所造成。 使用者無法藉由刪除資源群組來執行叢集刪除。 叢集刪除要求必須由具有 FIC/delete 許可權的應用程式/使用者/主體觸發。 如果 FIC 刪除失敗，高階叢集刪除也會失敗。
    • 使用者指派的受控識別（UAMI） 支援 – 每個 UAMI 有 20 個 FIC 的限制。 您只能在身分識別上建立 20 個同盟認證。 在 AKS 叢集的 HDInsight 中，FIC（同盟身分識別認證）和 SA 具有一對一對應，而且只能針對 MSI 建立 20 個 SA。 如果您想要建立更多叢集，則必須提供不同的 MSIS 來克服限制。
    • 在 這些區域中建立的使用者自訂受控身分識別目前不支援建立同盟身分識別認證

作業系統版本

  • Mariner OS 2.0

工作負載版本

工作量 版本
Trino 426
Flink 1.17.0
Apache Spark 3.3.1

支援的 Java 和 Scala 版本

工作量 爪哇島 Scala
Trino 開啟 JDK 17.0.7 - 
Flink 開啟 JDK 11.0.21 2.12.7
火花 開啟 JDK 1.8.0_345 2.12.15

預覽可在下列 區域中取得，。

如果您有更多問題，請連絡 Azure 支援，或參閱 支援選項 頁面。 如果您有針對產品的具體意見反饋，請寫信給我們，通過 aka.ms/askhdinsight聯絡我們。

發行日期：2024 年 2 月 5 日

此版本適用於下列

  • 叢集集區版本：1.1
  • 叢集版本：1.1.0
  • AKS 版本：1.27

提示

若要在 1.1.0 上的 AKS 叢集上建立新的 HDInsight，您必須使用 1.1 版建立新的叢集集區

新功能

  • 根據預設，叢集集區在版本 1.1 上支援 工作負載身份識別
  • Trino 叢集支援 1.1.0 版中的 Trino 426
    • AKS 上的 HDInsight 現在涵蓋了所有更新到 Trino 426 的變更版本，並且由社群提供了幾項值得注意的改進。 在這裡深入瞭解 Trino 。
  • Trino 叢集配置從 1.1.0 版開始支援基於負載的自動縮放
    • AKS 上的 HDInsight 上的 Trino 現在支援以負載為基礎的自動調整，讓叢集更具成本效益。 請在這裡 深入瞭解。
  • Trino 叢集圖形新增簡化的Hive中繼存放區和目錄設定
    • AKS 上的 HDInsight 已簡化 Trino 叢集的外部 Hive 中繼存放區設定。 您現在可以在 config.properties 中指定外部中繼存放區，並使用單一參數為每個目錄啟用它。 在這裡深入瞭解增強功能 ，。
  • Trino 叢集結構新增分片化 SQL 連接器
  • Flink 叢集現在支援來自 AKS 1.1.0 版的 HDInsight 上的 Flink 1.17.0。
    • AKS 上的 HDInsight 現在支援 Flink 1.17.0 版本，對檢查點、子任務層級火焰圖、水印對齊有顯著改善。 在此瞭解更多有關 Flink 1.17 版本發布的資訊
  • Flink SQL 閘道 現在在 AKS 1.1.0 版中支援來自 HDInsight 的 Flink 工作階段叢集。

& CVE 的錯誤修正

  • 此版本包含跨平臺和開放原始碼元件的數個重要 CVE 修正程式。
  • Trino 叢集圖形會自動從快取中排除系統數據表
  • Trino 叢集圖形可改善Power BI時間戳時區處理

已知問題

  • 工作負載身份識別限制：
    • 轉換至工作負載身分識別時，有已知的 限制。 這是由於 FIC 作業具有許可權敏感的特性。 使用者無法藉由刪除資源群組來執行叢集刪除。 叢集刪除要求必須由具有 FIC/delete 許可權的應用程式/使用者/主體觸發。 如果 FIC 刪除失敗，高階叢集刪除也會失敗。

新區域

  • 東亞

作業系統版本

  • Mariner OS 2.0

工作負載版本

工作量 版本
Trino 426
Flink 1.17.0
Apache Spark 3.3.1

支援的 Java 和 Scala 版本

工作量 爪哇島 Scala
Trino 開啟 JDK 17.0.7 - 
Flink 開啟 JDK 11.0.21 2.12.7
火花 開啟 JDK 1.8.0_345 2.12.15

預覽可在下列 區域中取得，。

如果您有更多問題，請連絡 Azure 支援，或參閱 支援選項 頁面。 如果您有關於產品的具體意見回饋，請透過 aka.ms/askhdinsight寫信給我們。

後續步驟

發行日期：2023年12月13日

此修補程式版本適用於下列

  • 叢集集區版本：1.0
  • 叢集版本：1.0.6

已知問題

  • 租戶安全使用者介面支援

    • 此版本解決了 AKS 叢集上 HDInsight 的開放原始碼元件 Web URL 無法存取的問題。 若要套用此修正程式，請連絡 Azure 支援，在您的訂用帳戶/租用戶上啟用此功能。

    如何套用 Hotfix

    • 重新建立您的叢集
      • 若要套用此 Hotfix，現有用戶必須在現有的叢集集區上重新建立其 叢集。

作業系統版本

  • Mariner OS 2.0

工作負載版本

工作量 版本
Trino 410
Flink 1.16
Apache Spark 3.3.1

支援的 Java 和 Scala 版本

工作量 爪哇島 Scala
Trino 開啟 JDK 17.0.7 - 
Flink 開啟 JDK 11.0.21 2.12.7
火花 開啟 JDK 1.8.0_345 2.12.15

預覽可在下列 區域中取得，。

如果您有更多問題，請連絡 Azure 支援，或參閱 支援選項 頁面。