インジェスト用にデータへのアクセスを構成する
この記事では、Azure Databricks ユーザーが ADLS Gen2 から Azure Databricks のテーブルにデータを読み込むことができるように、管理者ユーザーが Azure Data Lake Storage Gen2 (ADLS Gen2) のコンテナー内のデータへのアクセスを構成する方法について説明します。
この記事では、ソース データへのセキュリティで保護されたアクセスを構成する、次の方法について説明します。
(推奨) Unity Catalog ボリュームを作成する。
ストレージ資格情報を使用して Unity Catalog の外部の場所を作成する。
サービス プリンシパルを使用するコンピューティング リソースを起動する。
一時的な資格情報 (BLOB SAS トークン) を生成する。
開始する前に
ADLS Gen2 でデータへのアクセスを構成する前に、以下があることを確認します。
Azure Storage アカウントのコンテナーにあるデータ。 コンテナーを作成するには、Azure Storage に関するドキュメントの「コンテナーを作成する」を参照してください。
Unity Catalog ボリュームを使用してデータにアクセスする (推奨) 場合は、ボリュームに対する
READ VOLUME
特権。 詳細については、「Unity Catalog ボリュームとは」と「Unity Catalog の権限とセキュリティ設定が可能なオブジェクト」を参照してください。Unity Catalog の外部の場所を使用してデータにアクセスする場合は、その外部の場所に対する
READ FILES
特権。 詳細については、「クラウド ストレージを Azure Databricks に接続するための外部の場所を作成する」を参照してください。サービス プリンシパルを使用するコンピューティング リソースを使用してデータにアクセスする場合は、Azure Databricks ワークスペースの管理者アクセス許可。
一時的な資格情報を使用してデータにアクセスする場合:
- An Azure Databricks ワークスペース管理者のアクセス許可。
- BLOB SAS トークンを作成するための Azure アカウントのアクセス許可。 これを使用して、一時的な資格情報を生成できます。
Databricks SQL ウェアハウス。 SQL ウェアハウスの作成方法については、「SQL ウェアハウスを作成する」を参照してください。
Databricks SQLのユーザー インターフェイスに関する理解。
クラウド ストレージへのアクセスを構成する
ADLS Gen2 へのアクセスを構成するには、次のいずれかの方法を使用します。
(推奨) Unity Catalog ボリュームを作成する。 詳細については、「Unity Catalog ボリュームとは」を参照してください。
ストレージ資格情報を使用して Unity Catalog の外部の場所を構成する。 外部の場所の詳細については、「クラウド ストレージを Azure Databricks に接続するための外部の場所を作成する」を参照してください。
サービス プリンシパルを使用するようにコンピューティング リソースを構成する。 詳細については、「サービス プリンシパルの構成」を参照してください。
他の Azure Databricks ユーザーと共有する一時的な資格情報 (BLOB SAS トークン) を生成する。 詳細については、「インジェスト用の一時的な資格情報を生成する」を参照してください。
クリーンアップ
クラウド アカウントおよび Azure Databricks 内の関連するリソースを保持する必要がなくなったら、それらのリソースをクリーンアップできます。
ADLS Gen2 ストレージ アカウントを削除する
- Azure アカウントの Azure portal を開きます (通常は https://portal.azure.com)。
- ストレージ アカウントを参照して開きます。
- 削除をクリックします。
- ストレージ アカウントの名前を入力して、[削除] をクリックします。
SQL ウェアハウスを停止する
他のタスクに SQL ウェアハウスを使用していない場合は、追加コストを回避するために SQL ウェアハウスを停止する必要があります。
- SQL ペルソナのサイドバーで、[SQL ウェアハウス] をクリックします。
- SQL ウェアハウスの名前の横にある [停止] をクリックします。
- メッセージが表示されたら、もう一度 [停止] をクリックします。
次のステップ
この記事の手順を完了すると、ユーザーは COPY INTO
コマンドを実行して、ADLS Gen2 コンテナーから Azure Databricks ワークスペースにデータを読み込むことができます。
Unity Catalog ボリュームまたは外部の場所を使用してデータを読み込む場合は、「Unity Catalog ボリュームまたは外部の場所で COPY INTO を使用してデータを読み込む」を参照してください。
サービス プリンシパルを使用する SQL ウェアハウスを使用してデータを読み込む場合は、「サービス プリンシパルで COPY INTO を使用してデータを読み込む」を参照してください。
一時的な資格情報 (BLOB SAS トークン) を使用してデータを読み込む場合は、「一時的な資格情報で COPY INTO を使用してデータを読み込む」を参照してください。