HDInsight 在 AKS 上有什麼新功能？ （預覽）
重要
AKS 上的 Azure HDInsight 於 2025 年 1 月 31 日淘汰。 透過此公告 深入瞭解。
您必須將工作負載移轉至 Microsoft Fabric 或對等 Azure 產品，以避免突然終止工作負載。
重要
這項功能目前為預覽狀態。 Microsoft Azure 預覽版的補充使用規定 包含適用於 Beta 版、預覽版或尚未正式發行之 Azure 功能的更合法條款。 如需此特定預覽的相關資訊，請參閱 Azure HDInsight 在 AKS 上的預覽資訊。 如有疑問或功能建議，請在 AskHDInsight 提交請求，並關注我們以獲取 Azure HDInsight 社群的更多更新。
在 AKS 上的 HDInsight 平台中，所有叢集的管理和操作都本地支援個體叢集在 Azure 入口網站上的 服務管理功能。
在 AKS 上的 HDInsight 中，引進了兩個新的概念：
- 叢集集區 用來群組和管理叢集。
- 叢集 用於開放原始碼計算，它們裝載在叢集集區內。
叢集集區
AKS 上的 HDInsight 會在 Azure Kubernetes Service （AKS） 上執行。 最上層資源是叢集集區，並管理在相同 AKS 叢集上執行的所有叢集。 當您建立叢集集區時，會同時建立基礎 AKS 叢集，以裝載集區中的所有叢集。 叢集集區是叢集的邏輯群組，可協助跨多個叢集類型建立健全的互作性，並允許企業在相同的虛擬網路中擁有叢集。 叢集集區可快速且符合成本效益地存取隨選和大規模建立的所有叢集類型。一個叢集集區對應至 AKS 基礎結構中的一個叢集。
集群
叢集是獨立的開放原始碼計算工作負載，例如 Apache Spark、Apache Flink 和 Trino，可在短短幾分鐘內快速建立，僅需預設組態和幾次點擊。 雖然在相同的叢集集集區上執行，但每個叢集可以有自己的設定，例如叢集類型、版本、節點 VM 大小、節點計數。 叢集會以自己的 DNS 和端點，在個別的計算資源上執行。
目前處於預覽狀態的功能
下表清單顯示目前處於預覽狀態的 AKS 上的 HDInsight 功能。 預覽功能會依字母順序排序。
| 面積 | 特徵 |
|---|---|
| 基礎 | 使用入口網站建立集區與叢集，支援 Web 安全殼層（ssh），能夠在叢集建立期間選擇背景工作節點數目 |
| 存儲 | ADLS Gen2 儲存體 支援 |
| 中繼存放區 | Trino、Spark 和 Flink的外部中繼存放區支援，與 HDInsight 整合 |
| 安全 | 提供支援 ARM RBAC 的選項；提供支援 MSI 型驗證的選項；提供 叢集存取權的選項 給其他使用者。 |
| 記錄和監視 | Azure 記錄分析中的記錄匯總，適用於伺服器記錄、叢集和服務計量，透過 Managed Prometheus 和 Grafana，支援 azure 監視器中的伺服器計量、服務狀態頁面來監視 服務健康情況 |
| 自動縮放 | 以載入為基礎的 自動調整，及以排程為基礎的 自動調整 |
| 自訂和設定叢集 | 支援叢集建立期間 腳本動作、支援叢集建立後 連結庫管理、服務設定 |
| Trino | 支援 Trino 目錄、Trino CLI 支援、DBeaver 查詢提交支援、 在 Trino 儀表板中新增或移除 和 連接器、支援 記錄查詢 事件、掃描查詢統計數據的支援、Trino 儀錶板中任何 連接器 支援、Trino 儀錶板 監視查詢的支援、 查詢快取、與 Power BI 整合、與 Apache Superset整合、Redash、支援多個 連接器 |
| Flink | 支援 Flink 原生 Web UI、Flink 支援 HMS DStream、使用 REST API 和 Azure 入口網站將作業提交至叢集、透過 Flink CLI 封裝為 JAR 檔案的程式、支持持續性 Savepoint、支援更新作業執行時設定選項、聯機至多個 Azure 服務： Azure Cosmos DB、Azure Databricks、Azure 數據總管、Azure 事件中樞、Azure IoT 中樞、Azure Pipelines、Azure Data Factory 工作流程協調流程管理員、HDInsight Kafka、使用 Flink CLI 將作業提交至叢集，並使用 Flink CDC |
| 火花 | Jupyter Notebook、支援 Delta Lake 2.0、Zeppelin 支援、支援 ATS、Yarn 歷程記錄伺服器介面支援、使用 SSH 提交作業、使用 SDK 提交作業，以及 Machine Learning Notebook |
功能藍圖
| 特徵 | 預估發行時程表 | 地位 |
|---|---|---|
| 自動調整 - 以負載為基礎的 - Trino | 2024年第一季度 | 完成 |
| 針對 Spark 隨機顯示感知負載自動調整 | 2024年第二季度 | 進行中 |
| 就地升級 | 2024年第二季度 | 完成 |
| 保留實例支援 | 2024年第二季 | 進行中 |
| 中繼存放區的 MSI 型驗證 （SQL） | 2024年第1季 | 進行中 |
| Spark 3.4 | 2024年第二季 | 進行中 |
| Trino 426 | 2024年第一季 | 完成 |
| Ranger 用於 RBAC | 2024年第二季 | 進行中 |
| 應用程式模式對 Flink 的支援 | 2024年第一季度 | 完成 |
| Flink 1.17 | 2024 年第一季 | 完成 |
| Spark ACID 支援 | 2024年第一季 | 進行中 |
| 適用於 Headnode、SSH 的可設定 SKU | 2024 年第 2 季 | 進行中 |
| Flink SQL 閘道支援 | 2024年第一季 | 完成 |
| AKS 上的 HDInsight 私有叢集 | 2024 年第一季度 | 完成 |
| Spark SQL 的 Ranger 支援功能 | 2024年第四季度 | 進行中 |
| 儲存層上的 Ranger ACL | 2024年第4季 | 進行中 |
| 支援 One Lake 作為主要容器 | 2024年第2季 | 進行中 |