什麼是 AKS 上的 HDInsight? (預覽)
重要
AKS 上的 Azure HDInsight 於 2025 年 1 月 31 日淘汰。 透過此公告 深入瞭解。
您必須將工作負載移轉至 Microsoft Fabric 或對等 Azure 產品,以避免突然終止工作負載。
重要
這項功能目前為預覽狀態。 Microsoft Azure 預覽版的補充使用規定 包含適用於 Beta 版、預覽版或尚未正式發行之 Azure 功能的更合法條款。 如需有關此特定預覽的資訊,請參閱 AKS 預覽資訊上的Azure HDInsight。 如有問題或功能建議,請提交要求至 AskHDInsight,並關注我們以獲取 Azure HDInsight 社群的更多更新。
AKS 上的 HDInsight 是一種現代化、可靠、安全且完全受控的平臺即服務 (PaaS),可在 Azure Kubernetes Service (AKS) 上執行。 AKS 上的 HDInsight 可讓您部署熱門 Open-Source 分析工作負載,例如 Apache Spark™、Apache Flink®️ 和 Trino,而不需要管理及監視容器的額外負荷。
您可以建置端對端、PB規模的巨量資料應用程式,該應用程式涵蓋了使用Apache Flink進行的串流處理,利用Apache Spark的資料工程和機器學習能力,以及Trino的強大查詢引擎。
這些功能結合在強調開發人員的重點上的 AKS 的 HDInsight,可讓具有深入技術專業知識的企業和數位原生人員建構和運行符合其需求的應用程式。 AKS 上的 HDInsight 可讓開發人員存取開放原始碼軟體所提供的所有豐富組態,以及可順暢地包含其他生態系統供應專案的擴充性。 此項服務可讓開發人員測試及調整其應用程式,以在最佳成本下獲得最佳效能。
AKS 上的 HDInsight 會與整個 Azure 生態系統整合,縮短實作週期並改善實現價值的時間。
技術架構
AKS 上的 HDInsight 引進叢集集區和叢集的概念,可讓您實現 Data Lakehouse 的完整價值。 叢集集區可讓您在單一數據湖上使用多個計算工作負載,藉此移除網路管理和資源規劃的額外負荷。
- 叢集集區 是叢集的邏輯群組,可協助跨多個叢集類型建立健全的互作性,並允許企業在相同的虛擬網路中擁有叢集。 叢集集區可快速且符合成本效益地存取隨選和大規模建立的所有叢集類型。 一個叢集集區對應至 AKS 基礎結構中的一個叢集。
- 叢集 是個別的計算工作負載,例如 Apache Spark、Apache Flink 和 Trino,可在幾分鐘內使用預設設定快速建立。
您可以使用單一叢集或叢集類型的組合來建立集區,這些類型是以需求為基礎,並可自訂設定下列選項:
- 存儲
- 網路
- 伐木
- 監測
下圖顯示預設叢集集區中安裝的元件邏輯技術架構。 叢集會使用 AKS 叢集中 命名空間來隔離。
現代化雲端原生計算平臺
最新版的 HDInsight 是使用 AKS 進行協調,可讓平臺更健全,並讓用戶能夠有效地處理叢集。 在 AKS 上的 HDInsight 上佈建叢集是快速且可靠的,可讓您輕鬆地管理叢集並執行就地升級。 使用龐大的 SKU 選項和彈性的訂閱模型,透過在 AKS 上的 HDInsight 上使用開放原始碼、雲端原生和可調整的基礎架構,進行資料湖屋現代化,可以滿足您的所有分析需求。
主要功能包括:
- 快速建立和擴展叢集。
- 易於維護和定期的安全性更新。
- 由新式雲端原生 AKS 所提供的叢集復原能力。
- 對 OAuth 和 Microsoft Entra ID 現代身份驗證的原生支援。
- 與 Azure 服務深入整合 – Azure Data Factory (ADF)、Power BI、Azure 監視器。
與 HDInsight 的連線能力
AKS 上的 HDInsight 可以順暢地與 HDInsight 連線。 您可以在混合式模型中取得使用所需叢集類型的優點。 使用這兩個供應專案的相同記憶體和中繼存放區,與 HDInsight 的叢集類型互作。
HDInsight 在平臺即服務 (PaaS) 中提供 Apache Kafka®、Apache HBase® 和其他分析工作負載。
支援下列案例:
- Apache Flink 連線至 Apache HBase
- Apache Flink 連線至 Apache Kafka
- Apache Spark 連接到 Apache HBase
- Apache Spark 連線至 Apache Kafka
安全性架構
根據預設,AKS 上的 HDInsight 是安全的。 它可讓企業使用 Azure 虛擬網路、加密和與 entra 標識碼Microsoft整合來保護企業數據資產。 它也符合維護 Azure 標準的最受歡迎的產業和政府合規性標準。 有超過 30 項認證可協助保護數據,以及定期更新、健康情況建議程式通知、服務健康情況分析,以及頂級 Azure 安全性標準。 AKS 上的 HDInsight 預設情況下提供數種方法來因應您的企業安全性需求。 如需詳細資訊,請參閱有關 AKS 安全性的 HDInsight 。
區域可用性 (公開預覽)
亞太地區
- 澳大利亞東部
- 印度中部
- 東亞
- 日本東部
- 韓國中部
- 東南亞
歐洲
- 法國中部
- 北歐
- 挪威東部
- 瑞士北部
- 英國南部
- 西歐
美洲
- 巴西南部
- 加拿大中部
- 美國中部
- 美國東部
- 美國東部 2
- 東美 2 EUAP
- 美國中南部
- 美國西部
- 美國西部 2
- 美國西部 3
注意
- Trino 品牌和商標是由 Trino Software Foundation所擁有和管理。 使用這些標記不代表 Trino Software Foundation 的認可。
- Apache Spark、Spark 和 Spark 標誌是 Apache Software Foundation (ASF) 的商標。
- Apache、Apache Kafka、Kafka 和 Kafka 標誌是 Apache Software Foundation (ASF) 的商標。
- Apache、Apache Flink、Flink 和 Flink 標誌是 Apache Software Foundation(ASF) 的商標。
- Apache HBase、HBase 和 HBase 標誌是 Apache Software Foundation(ASF)的商標。
- Apache®、Apache Spark™、Apache HBase®、Apache Kafka® 和 Apache Flink® 是美國和/或其他國家/地區 Apache Software Foundation 的註冊商標或商標。 使用這些標記不代表得到 Apache Software Foundation 的認可。