クラスター ストレージの概要

大事な

AKS 上の Azure HDInsight は、2025 年 1 月 31 日に廃止されました。 の詳細についてこのお知らせをご覧ください。

ワークロードの突然の終了を回避するには、ワークロードを Microsoft Fabric または同等の Azure 製品 に移行する必要があります。

大事な

この機能は現在プレビュー段階です。 Microsoft Azure プレビューの 追加使用条件 には、ベータ版、プレビュー版、または一般公開されていない Azure 機能に適用される、より多くの法的条件が含まれています。 この特定のプレビューの詳細については、AKS プレビュー情報 Azure HDInsightを参照してください。 ご質問や機能の提案については、AskHDInsight に詳細を記載した要求を送信し、Azure HDInsight Community をフォローして最新情報を入手してください。

AKS 上の Azure HDInsight は、他の多くの Azure サービスとうまく連携する汎用ストレージ ソリューションである Azure Storage とシームレスに統合できます。 Azure Data Lake Storage Gen2 (ADLS Gen 2) は、クラスターの既定のファイル システムです。

ストレージ アカウントは、クラスター操作中に生成されるデータ、クラスター ログ、およびその他の出力の既定の場所として使用できます。 また、クラスターの種類に依存する Hive カタログの既定のストレージになる場合もあります。

詳細については、「Azure Data Lake Storage Gen2の概要」を参照してください。

セキュリティで保護されたファイル アクセスのマネージド ID

AKS 上の Azure HDInsight では、マネージド ID (MSI) を使用して、Azure Data Lake Storage Gen2 内のファイルへのクラスター アクセスをセキュリティで保護します。 マネージド ID は、自動的に管理される資格情報のセットを Azure サービスに提供する Microsoft Entra ID の機能です。 これらの資格情報を使用して、Active Directory 認証をサポートするすべてのサービスに対する認証を行うことができます。 さらに、マネージド ID では、コードまたは構成ファイルに資格情報を格納する必要はありません。

AKS 上の Azure HDInsight では、クラスターの作成時にマネージド ID とストレージを選択すると、ユーザー割り当て MSI に Storage Blob Data Owner ロールが割り当てられている場合、マネージド ID はデータ管理用のストレージとシームレスに連携できます。

次の表は、AKS (パブリック プレビュー) 上の Azure HDInsight でサポートされているストレージ オプションの概要を示しています。

クラスターの種類	サポートされているストレージ	接続	ストレージの役割
Trino、Apache Flink、Apache Spark	ADLS Gen2	クラスター ユーザー割り当てマネージド・アイデンティティ (MSI)	ユーザー割り当て MSI には、ストレージ アカウントの ストレージ BLOB データ所有者 ロールが必要です。

手記

複数のクラスター間でストレージ アカウントを共有するには、対応するクラスター ユーザー割り当て MSI "ストレージ BLOB データ所有者" を共有ストレージ アカウントに割り当てるだけです。 ロールを 割り当てる方法を学びます。

その後、完全なストレージ abfs:// パスを使用して、アプリケーション経由でデータにアクセスできます。

詳細については、「Azure リソースのマネージド ID」を参照してください。
ADLS Gen2 アカウントを 作成する方法を学びます。

AKS ストレージ アーキテクチャ上の Azure HDInsight

次の図は、Azure Storage の AKS アーキテクチャ上の Azure HDInsight の概要を示しています。

ストレージ管理

現時点では、AKS 上の Azure HDInsight では、論理的な削除が有効になっているストレージ アカウントはサポートされていません。ストレージ アカウントの論理的な削除を無効にしてください。