クラスター ストレージの概要

Note

Azure HDInsight on AKS は 2025 年 1 月 31 日に廃止されます。 2025 年 1 月 31 日より前に、ワークロードを Microsoft Fabric または同等の Azure 製品に移行することで、ワークロードの突然の終了を回避する必要があります。 サブスクリプション上に残っているクラスターは停止され、ホストから削除されることになります。

提供終了日までは基本サポートのみが利用できます。

重要

現在、この機能はプレビュー段階にあります。 ベータ版、プレビュー版、または一般提供としてまだリリースされていない Azure の機能に適用されるその他の法律条項については、「Microsoft Azure プレビューの追加の使用条件」に記載されています。 この特定のプレビューについては、「Microsoft HDInsight on AKS のプレビュー情報」を参照してください。 質問や機能の提案については、詳細を記載した要求を AskHDInsight で送信してください。また、その他の更新情報については、Azure HDInsight コミュニティをフォローしてください。

AKS 上の Azure HDInsight は、他の多くの Azure サービスと適切に連携できる汎用ストレージ ソリューションである Azure Storage とシームレスに統合できます。 Azure Data Lake Storage Gen2 (ADLS Gen 2) は、クラスターの既定のファイル システムです。

ストレージ アカウントは、クラスター操作中に生成されるデータ、クラスター ログ、およびその他の出力の既定の場所として使用できます。 また、クラスターの種類に依存する Hive カタログの既定のストレージになる場合もあります。

詳細については、「Azure Data Lake Storage Gen2 の概要」を参照してください。

セキュア ファイル アクセスのためのマネージド ID

AKS 上の Azure HDInsight は、マネージド ID (MSI) を使用して、Azure Data Lake Storage Gen2 内のファイルへのクラスター アクセスをセキュリティで保護します。 マネージド ID は、Azure サービスに自動的に管理される一連の資格情報を提供する Microsoft Entra ID の機能です。 これらの資格情報は、Active Directory 認証をサポートする任意のサービスを認証するために使用できます。 さらに、マネージド ID では、コードまたは構成ファイルに資格情報を格納する必要はありません。

AKS 上の Azure HDInsight では、クラスターの作成時にマネージド ID とストレージを選択すると、ストレージ BLOB データ所有者ロールがユーザー割り当て MSI に割り当てられていれば、マネージド ID はデータ管理用のストレージとシームレスに連携できます。

次の表は、AKS 上の Azure HDInsight (パブリック プレビュー) でサポートされているストレージ オプションの概要を示しています。

クラスターの種類	サポートされるストレージ	つながり	ストレージに対するロール
Trino、Apache Flink、Apache Spark	ADLS Gen2	クラスターのユーザー割り当てマネージド ID (MSI)	ユーザー割り当て MSI には、ストレージ アカウントに対するストレージ BLOB データ所有者ロールが必要です。

Note

複数のクラスター間でストレージ アカウントを共有するには、対応するクラスター ユーザー割り当て MSI の "ストレージ BLOB データ所有者" を共有ストレージ アカウントに割り当てるだけです。 ロールを割り当てる方法を確認してください。

その後、完全なストレージ abfs:// パスを使用して、アプリケーション経由でデータにアクセスできます。

詳細については、Azure リソースのマネージド ID に関するページを参照してください。
ADLS Gen2 アカウントを作成する方法を確認してください。

AKS 上の Azure HDInsight のストレージ アーキテクチャ

次の図は、Azure Storage の AKS 上の Azure HDInsight アーキテクチャの概要を示しています。

ストレージ管理

現時点では、AKS 上の Azure HDInsight では、論理的な削除が有効になっているストレージ アカウントはサポートされていません。必ずストレージ アカウントで論理的な削除を無効にしてください。