共用方式為


叢集記憶體簡介

重要

AKS 上的 Azure HDInsight 於 2025 年 1 月 31 日淘汰。 透過此公告 深入瞭解

您必須將工作負載移轉至 Microsoft Fabric 或對等 Azure 產品,以避免突然終止工作負載。

重要

這項功能目前為預覽狀態。 Microsoft Azure 預覽版的補充使用規定 包含適用於 Beta 版、預覽版或尚未正式發行之 Azure 功能的更合法條款。 如需此特定預覽的相關信息,請參閱 AKS 預覽資訊上的 Azure HDInsight。 若有疑問或功能建議,請在 AskHDInsight 提交要求,並關注我們以獲取 Azure HDInsight 社群的更多更新。

AKS 上的 Azure HDInsight 可以順暢地與 Azure 記憶體整合,這是可與許多其他 Azure 服務搭配運作的一般用途記憶體解決方案。 Azure Data Lake Storage Gen2 (ADLS Gen 2) 是叢集的默認文件系統。

儲存體帳戶可以做為叢集作業期間產生的數據、叢集記錄和其他輸出的預設位置。 它也可能是取決於叢集類型的 Hive 目錄預設儲存。

如需詳細資訊,請參閱 Azure Data Lake Storage Gen2 簡介

用於安全檔案存取的受控識別

AKS 上的 Azure HDInsight 會使用受控識別 (MSI) 來保護對 Azure Data Lake Storage Gen2 中檔案的叢集存取。 受控識別是一項Microsoft Entra識別符的功能,可為 Azure 服務提供一組自動受控認證。 這些認證可用來向任何支援 Active Directory 驗證的服務進行驗證。 此外,受控識別不需要您將認證儲存在程式碼或組態檔中。

在 AKS 上的 Azure HDInsight 中,當您在叢集建立期間選取受控識別和儲存體,受控識別可以順利地與儲存體搭配進行資料管理,前提是 儲存體 Blob 資料擁有者 角色已指派給使用者指派的 MSI。

下表概述 AKS 上 Azure HDInsight 支援的記憶體選項(公開預覽):

叢集類型 支援的記憶體 連接 記憶體上的角色
Trino、Apache Flink 和 Apache Spark ADLS Gen2 叢集使用者指派的受控識別 (MSI) 使用者指派的 MSI 必須在儲存體帳戶上擁有 儲存體 Blob 資料擁有者 角色。

注意

若要跨多個叢集共用儲存體帳戶,您可以直接在共用儲存體帳戶上指派對應的叢集使用者指派 MSI「儲存體 Blob 資料擁有者」。 瞭解如何 指派角色

之後,您可以使用完整的記憶體 abfs:// 路徑,透過您的應用程式存取資料。

如需詳細資訊,請參閱 Azure 資源的受控識別。
瞭解如何 建立 ADLS Gen2 帳戶

AKS 記憶體架構上的 Azure HDInsight

下圖提供 Azure 記憶體 AKS 架構上 Azure HDInsight 的抽象檢視。

顯示記憶體架構的螢幕快照。

記憶體管理

目前,AKS 上的 Azure HDInsight 不支援啟用了軟刪除的儲存體帳戶,請確保您已停用儲存體帳戶的軟刪除功能。

顯示軟刪除入口網站 UI 的螢幕快照。