Unity Catalog で Azure マネージド ID を使用してストレージにアクセスする

[アーティクル]
08/29/2024

この記事では、Azure マネージド ID を使用して、Unity Catalog ユーザーの代わりにストレージコンテナーに接続する方法について説明します。

Azure マネージド ID とは何か?

Unity Catalog は、Azure マネージド ID を使って、Unity Catalog ユーザーの代わりにストレージコンテナーにアクセスするように構成できます。マネージド ID は、Microsoft Entra ID 認証をサポートするリソースに接続するときに使用するアプリケーションの ID を提供します。

Unity Catalog でマネージド ID を使用すると、次の 2 つの主要なユースケースをサポートできます。

メタストアのマネージドストレージアカウント (マネージドテーブルが格納されている場所) に接続するための ID として。
他の外部ストレージアカウントに接続するための ID として (ファイルベースのアクセスまたは外部テーブルを介して既存のデータセットにアクセスする)。

マネージド ID を使用した Unity Catalog の構成には、サービスプリンシパルを使用した Unity Catalog の構成に比べて次のベネフィットがあります。

マネージド ID では、資格情報を維持したり、シークレットをローテーションしたりする必要がありません。
Azure Databricks ワークスペースが独自の VNet (VNet インジェクションとも呼ばれます) にデプロイされていて、ストレージファイアウォールを使用して Azure Data Lake Storage Gen2 アカウントを保護する場合は、マネージド ID を使用してそのアカウントにワークスペースを接続できます。「(VNet インジェクションワークスペースの場合に推奨) マネージド ID に基づいて Azure Storage への信頼されたアクセスを構成する」を参照してください。

注意

標準の Azure Databricks デプロイではストレージファイアウォールを使用できません。

Unity Catalog のマネージド ID を構成する

Unity Catalog で使用するマネージド ID を構成するには、まず Azure で Azure Databricks 用のアクセスコネクタを作成します。既定では、アクセスコネクタはシステム割り当てマネージド ID を使用してデプロイされます。代わりに、ユーザー割り当てマネージド ID をアタッチするように選択できます。その場合、そのマネージド ID に Azure Data Lake Storage Gen2 アカウントへのアクセス権を付与し、Unity Catalog メタストアまたはストレージの資格情報を作成するときにそのアクセスコネクタを使用します。

必要条件

アクセスコネクタを作成する Azure ユーザーまたはサービスプリンシパルには、次の要件があります。

Azure リソースグループの共同作成者または所有者であること。

マネージド ID をストレージアカウントに付与する Azure ユーザーまたはサービスプリンシパルには、次の要件があります。

ストレージアカウントの所有者またはユーザーアクセス管理者 Azure RBAC ロールを持つユーザーであること。

ステップ 1: Azure Databricks 用のアクセスコネクタを作成する

Azure Databricks 用のアクセスコネクタはファーストパーティーの Azure リソースであり、マネージド ID を Azure Databricks アカウントに接続できます。

Azure Databricks の各アクセスコネクタには、1 つのシステム割り当てマネージド ID または 1 つのユーザー割り当てマネージド ID を含めることができます。複数のマネージド ID を使用する場合は、それぞれに個別のアクセスコネクタを作成します。

システム割り当てマネージド ID を使用する

リソースグループの共同作成者または所有者として Azure portal にログインします。
[+ 作成] または [新しいリソースを作成] をクリックします。
Azure Databricks 用のアクセスコネクタを検索し、選択します。
Create をクリックしてください。
[基本] タブで、以下のフィールドの値をそのまま使用するか、選択または入力します。
- [サブスクリプション]: これは、アクセスコネクタが作成される Azure サブスクリプションです。既定値は、現在使用している Azure サブスクリプションです。テナント内の任意のサブスクリプションにすることができます。
- リソースグループ: アクセスコネクタが作成される Azure リソースグループです。
- [名前]: コネクタの目的を示す名前を入力します。
- [リージョン]: これは、接続先のストレージアカウントと同じリージョンである必要があります。
[Review + create](レビュー + 作成) をクリックします。
"検証に成功しました" というメッセージが表示されたら、[作成] をクリックします。

デプロイが成功すると、アクセスコネクタがシステム割り当てのマネージド ID でデプロイされます。
デプロイが完了したら、[リソースに移動] をクリックします。

リソース ID を書き留めておきます。

リソース ID の形式は次のとおりです。

/subscriptions/12f34567-8ace-9c10-111c-aea8eba12345c/resourceGroups/<resource-group>/providers/Microsoft.Databricks/accessConnectors/<connector-name>

ユーザー割り当てマネージド ID を使用する

ユーザー割り当てマネージド ID がまだない場合は、新たに作成し、そのリソース ID を書き留めておきます。

「ユーザー割り当てマネージド ID の管理」を参照してください。
リソースグループの共同作成者または所有者として Azure portal にログインします。

リソースグループは、接続先のストレージアカウントと同じリージョンに存在する必要があります。
[Deploy a custom template] (カスタムテンプレートのデプロイ) を検索して選択します。

[Build your own template] (独自のテンプレートの作成) を選択し、次のテンプレートをエディターに貼り付けます。

{
 "$schema": "https://schema.management.azure.com/schemas/2019-04-01/deploymentTemplate.json#",
 "contentVersion": "1.0.0.0",
 "parameters": {
     "connectorName": {
         "defaultValue": "testConnector",
         "type": "String",
         "metadata": {
             "description": "The name of the Azure Databricks Access Connector to create."
         }
     },
     "accessConnectorRegion": {
         "defaultValue": "[resourceGroup().location]",
         "type": "String",
         "metadata": {
             "description": "Location for the access connector resource."
         }
     },
     "userAssignedManagedIdentiy": {
         "type": "String",
         "metadata": {
             "description": "The resource Id of the user assigned managed identity."
         }
     }
 },
 "resources": [
     {
         "type": "Microsoft.Databricks/accessConnectors",
         "apiVersion": "2023-05-01",
         "name": "[parameters('connectorName')]",
         "location": "[parameters('accessConnectorRegion')]",
         "identity": {
             "type": "UserAssigned",
             "userAssignedIdentities": {
                 "[parameters('userAssignedManagedIdentiy')]": {}
             }
          }
      }
   ]
}

[Basics] (基本) タブで、以下のフィールドの値をそのまま使用するか、選択または入力します。
- [サブスクリプション]: アクセスコネクタが作成される Azure サブスクリプション。既定値は、現在使用している Azure サブスクリプションです。テナント内の任意のサブスクリプションにすることができます。
- [リソースグループ]: 接続先のストレージアカウントと同じリージョン内のリソースグループ。
- [名前]: コネクタの目的を示す名前。
- [リージョン]: これは、接続先のストレージアカウントと同じリージョンである必要があります。リソースグループが接続先のストレージアカウントと同じリージョンに作成されていた場合は、事前設定された値 '[resourceGroup().location]' を選択できます。
- ユーザー割り当てマネージド ID: 使用するユーザー割り当てマネージド ID のリソース ID。
[Review + create](レビュー + 作成) をクリックします。
"検証に成功しました" というメッセージが表示されたら、[作成] をクリックします。
デプロイが完了したら、[リソースに移動] をクリックします。

リソース ID を書き留めておきます。

リソース ID の形式は次のとおりです。

/subscriptions/12f34567-8ace-9c10-111c-aea8eba12345c/resourceGroups/<resource-group>/providers/Microsoft.Databricks/accessConnectors/<connector-name>

ステップ 2: マネージド ID にストレージアカウントへのアクセスを許可する

この手順でアクセス許可を付与するには、ストレージアカウントの所有者またはユーザーアクセス管理者の Azure RBAC の役割が必要です。

[Azure Data Lake Storage Gen2] アカウントにログインしてください。
[アクセス制御 (IAM)] に移動して、[+ 追加] をクリックし、[ロールの割り当ての追加] を選択します。
[ストレージ BLOB データ共同作成者] ロールを選択し、[次へ] をクリックします。
[アクセスの割り当て先] で [マネージド ID] を選択します。
[メンバーの選択] をクリックし、[Azure Databricks 用のアクセスコネクタ] または [ユーザー割り当てマネージド ID] のいずれかを選択してください。
コネクタ名またはユーザー割り当て ID を検索して選択し、[Review and Assign] (確認と割り当て) をクリックします。

または、マネージド ID に特定のコンテナーへのアクセスを許可することで、ストレージアカウントへのアクセスを制限することもできます。上記と同じ手順に従いますが、ストレージアカウントの Storage BLOB デリゲータロールとコンテナーのストレージ BLOB 共同作成者ロールを付与します。

手順 3: マネージド ID にファイルイベントへのアクセス権を付与する

マネージド ID にファイルイベントへのアクセスを許可すると、Azure Databricks はクラウドプロバイダーで生成されたファイルイベント通知をサブスクライブできます。これにより、ファイル処理の効率が向上します。この手順でアクセス許可を付与するには、ストレージアカウントの所有者またはユーザーアクセス管理者の Azure RBAC の役割が必要です。

[Azure Data Lake Storage Gen2] アカウントにログインしてください。
[アクセス制御 (IAM)] に移動して、[+ 追加] をクリックし、[ロールの割り当ての追加] を選択します。
[ストレージキューデータ共同作成者] ロールを選択し、[次へ] をクリックしてください。
[アクセスの割り当て先] で [マネージド ID] を選択します。
[メンバーの選択] をクリックし、[Azure Databricks 用のアクセスコネクタ] または [ユーザー割り当てマネージド ID] のいずれかを選択してください。
コネクタ名またはユーザー割り当て ID を検索して選択し、[Review and Assign] (確認と割り当て) をクリックします。

手順 4: ユーザーに代わって Azure Databricks にファイルイベントを構成するアクセス権を付与する

Note

この手順は省略可能ですが、強くお勧めします。ユーザーに代わってファイルイベントを構成するためのアクセス権を Azure Databricks に付与しない場合は、場所ごとにファイルイベントを手動で構成する必要があります。そうでない場合は、Databricks が今後リリースする可能性のある重要な機能へのアクセスが制限されます。

この手順により、Azure Databricks でファイルイベントを自動的に設定できます。この手順でアクセス許可を付与するには、マネージド ID および Azure Data Lake Storage Gen2 アカウントが属するリソースグループに対する所有者またはユーザーアクセス管理者の Azure RBAC の役割が必要です。

「手順 3 : マネージド ID にファイルイベントへのアクセス権を付与する」の指示に従い、ストレージキューデータ投稿者 ロールと共にストレージアカウント共同作成者をマネージド ID に割り当ててください。
Azure Data Lake Storage Gen2 アカウントが属する Azure リソースグループに移動してください。
[アクセス制御 (IAM)] に移動して、[+ 追加] をクリックし、[ロールの割り当ての追加] を選択します。
[EventGrid EventSubscription 共同作成者]ロールを選び、[次へ] をクリックしてください。
[アクセスの割り当て先] で [マネージド ID] を選択します。
[メンバーの選択] をクリックし、[Azure Databricks 用のアクセスコネクタ] または [ユーザー割り当てマネージド ID] のいずれかを選択してください。
コネクタ名またはユーザー割り当て ID を検索して選択し、[Review and Assign] (確認と割り当て) をクリックします。

マネージド ID を使用して Unity Catalog ルートストレージアカウントにアクセスする

このセクションでは、Unity Catalog メタストアを作成するときに、マネージド ID にルートストレージアカウントへのアクセスを許可する方法について説明します。

マネージド ID を使用するように既存の Unity Catalog メタストアをアップグレードする方法については、「既存の Unity Catalog メタストアをアップグレードしてマネージド ID を使用してそのルートストレージにアクセスする」を参照してください。

Azure Databricks アカウント管理者として、Azure Databricks アカウントコンソールにログインします。
[カタログ] をクリックします。
[メタストアの作成] をクリックします。
次のフィールドの値を入力します。
- メタストアの [名前]。
- メタストアをデプロイする [リージョン]。
  
  パフォーマンスを最適にするには、同じクラウドリージョン内にアクセスコネクタ、ワークスペース、メタストア、クラウドストレージを併置します。
- [ADLS Gen 2 のパス]: メタストアのルートストレージとして使うストレージコンテナーへのパスを入力します。
  
  abfss:// プレフィックスが自動的に追加されます。
- [アクセスコネクタ ID]: Azure Databricks アクセスコネクタのリソース ID を、次の形式で入力します。
```
/subscriptions/12f34567-8ace-9c10-111c-aea8eba12345c/resourceGroups/<resource-group>/providers/Microsoft.Databricks/accessConnectors/<connector-name>
```
- (省略可能) マネージド ID: ユーザー割り当てマネージド ID を使用してアクセスコネクタを作成した場合は、マネージド ID のリソース ID を入力します。
Create をクリックしてください。
メッセージが表示されたら、メタストアにリンクするワークスペースを選択します。

Unity Catalog で管理されている外部ストレージにマネージド ID を使用してアクセスする

Unity Catalog を使用すると、ストレージの資格情報と外部の場所を使用して、ストレージアカウント内の既存のデータにアクセスできます。ストレージ資格情報にはマネージド ID が格納され、外部の場所ではストレージ資格情報への参照と共にストレージへのパスが定義されます。この方法を使用すると、クラウドストレージ内の既存のデータへのアクセスを許可および制御したり、Unity Catalog に外部テーブルを登録したりできます。

ストレージ資格情報には、マネージド ID またはサービスプリンシパルを保持できます。マネージド ID を使用すると、サービスプリンシパルでは不可能な、ネットワークルールによって保護されたストレージアカウントに Unity Catalog がアクセスできるというベネフィットがあり、シークレットを管理およびローテーションする必要がなくなります。

マネージド ID を使用してストレージ資格情報を作成し、そのストレージ資格情報を外部の場所に割り当てるには、「Unity Catalog を使用してクラウドオブジェクトストレージに接続する」の手順に従います。

(VNet インジェクションワークスペースの場合に推奨) マネージド ID に基づいて Azure Storage への信頼されたアクセスを構成する

Azure Databricks ワークスペースが独自の Azure仮想ネットワーク ("VNet インジェクション" とも呼ばれます) にデプロイされていて、ストレージファイアウォールを使用して Azure Data Lake Storage Gen2 アカウントを保護する場合、次を行う必要があります。

Azure Storage にアクセスするように Azure Databricks ワークスペースを有効にする。
マネージド ID を有効にして Azure Storage にアクセスする。

ステップ 1. Azure Storage にアクセスするように Azure Databricks ワークスペースを有効にする

Azure Databricks ワークスペースで Azure Data Lake Storage Gen2 にアクセスできるようにネットワーク設定を構成する必要があります。サブネットから Azure Data Lake Storage Gen2 アカウントへの接続を許可するように、Azure Data Lake Storage Gen2 でプライベートエンドポイントまたは仮想ネットワークからのアクセスを構成できます。

手順については、「Azure Databricks ワークスペースに Azure Data Lake Storage Gen2 へのアクセス権を付与する」を参照してください。

ステップ 2: マネージド ID を有効にして Azure Storage にアクセスする

このステップは、Azure Storage アカウントで [信頼されたサービス一覧にある Azure サービスがこのストレージアカウントにアクセスすることを許可します] が無効になっている場合にのみ必要です。その構成が有効になっている場合:

ストレージアカウントと同じテナント内の Azure Databricks 用のアクセスコネクタは、すべてストレージアカウントにアクセスできます。
信頼されたすべての Azure サービスが、ストレージアカウントにアクセスできます。「信頼された Azure サービスにアクセスを許可する」を参照してください。

次の手順には、この構成を無効にするステップが含まれています。 Azure portal か、Azure CLI を使用することができます。

Azure Portal の使用

Azure portal にログインし、Azure Storage アカウントを見つけて選択し、[ネットワーク] タブに移動します。
[パブリックネットワークアクセス] を [選択した仮想ネットワークと IP アドレスから有効] に設定します。

代わりに、[パブリックネットワークアクセス] を [無効] に設定することもできます。マネージド ID を使用して、パブリックネットワークアクセスのチェックをバイパスできます。
[リソースインスタンス] で、[Microsoft.Databricks/accessConnectors] の [リソースの種類] を選択し、Azure Databricks アクセスコネクタを選択します。
[例外] で [信頼されたサービスの一覧にある Azure サービスがこのストレージアカウントにアクセスすることを許可します] チェックボックスをオフにします。

Azure CLI の使用

Azure CLI をインストールして、サインインします。

Microsoft Entra ID サービスプリンシパルを使用してサインインするには、Microsoft Entra ID サービスプリンシパルを使用した Azure CLI ログインに関する記事を参照してください。

Azure Databricks ユーザーアカウントを使用してサインインするには、「Azure Databricks ユーザーアカウントを使用した Azure CLI のログイン」を参照してください。

ストレージアカウントにネットワークルールを追加します。

az storage account network-rule add \
-–subscription <subscription id of the resource group> \
-–resource-id <resource Id of the access connector for Azure Databricks> \
-–tenant-id <tenant Id> \
-g <name of the Azure Storage resource group> \
-–account-name <name of the Azure Storage resource> \

リソース ID を次の形式で追加します。

/subscriptions/12f34567-8ace-9c10-111c-aea8eba12345c/resourceGroups/<resource-group>/providers/Microsoft.Databricks/accessConnectors/<connector-name>

ネットワークルールを作成したら、Azure portal で Azure Storage アカウントに移動し、[リソースインスタンス] の下の [ネットワーク] タブでマネージド ID を表示します。リソースの種類は Microsoft.Databricks/accessConnectors です。
[例外] で [信頼されたサービスの一覧にある Azure サービスがこのストレージアカウントにアクセスすることを許可します] チェックボックスをオフにします。
必要に応じて、[パブリックネットワークアクセス] を [無効] に設定します。マネージド ID を使用して、パブリックネットワークアクセスのチェックをバイパスできます。

標準的な方法は、この値を [選択した仮想ネットワークと IP アドレスから有効] に設定したままにすることです。

(推奨) サーバーレス SQL ウェアハウスからのアクセスを許可するように Azure Storage ファイアウォールを構成する

サーバーレス SQL ウェアハウスは、通常お使いの Azure サブスクリプションではなく、Azure Databricks 用の Azure サブスクリプションで実行されるコンピューティングリソースです。サーバーレス SQL ウェアハウスを使用する予定があり、Azure Data Lake Storage Gen2 でファイアウォールを構成する場合は、ファイアウォールの構成でサーバーレス SQL ウェアハウスからのアクセスを許可する必要があります。

構成手順については、「サーバーレスコンピューティングのアクセス用にファイアウォールを構成する」を参照してください。

マネージド ID を使用してルートストレージにアクセスするように既存の Unity Catalog メタストアをアップグレードする

サービスプリンシパルを使用して作成された Unity Catalog メタストアがあり、マネージド ID を使用するようにアップグレードする場合は、API 呼び出しを使用して更新できます。

「Unity Catalog のマネージド ID を構成する」の手順に従って、Azure Databricks 用のアクセスコネクタを作成し、Unity Catalog メタストアルートストレージに使用されているストレージコンテナーへのアクセス許可を割り当てます。

アクセスコネクタは、システム割り当てマネージド ID またはユーザー割り当てマネージド ID のいずれかを使用して作成できます。

アクセスコネクタのリソース ID を書き留めておきます。ユーザー割り当てマネージド ID を使用する場合は、そのリソース ID も書き留めます。
アカウント管理者として、メタストアに割り当てられている Azure Databricks ワークスペースにログインします。

ワークスペース管理者である必要はありません。
個人用アクセストークンを生成します。
次を含む Azure Databricks 認証構成プロファイルをローカル環境に作成します。
- 個人用アクセストークンを生成したワークスペースのワークスペースインスタンス名とワークスペース ID。
- 個人用アクセストークンの値。
「Azure Databricks 個人用アクセストークン認証」をご覧ください。
Databricks CLI を使用して、次のコマンドを実行してストレージの資格情報を再作成します。

プレースホルダー値を次のように置き換えます。
- <credential-name>: ストレージ資格情報の名前。
- <access-connector-id>: /subscriptions/12f34567-8ace-9c10-111c-aea8eba12345c/resourceGroups/<resource-group>/providers/Microsoft.Databricks/accessConnectors/<connector-name> の形式の、Azure Databricks アクセスコネクタのリソース ID
- <managed-identity-id>: ユーザー割り当てマネージド ID を使用してアクセスコネクタを作成した場合は、マネージド ID のリソース ID を指定します。
- <profile-name>: Azure Databricks 認証構成プロファイルの名前。
```
databricks storage-credentials create --json '{
  "name\": "<credential-name>",
  "azure_managed_identity": {
    "access_connector_id": "<access-connector-id>",
    "managed_identity_id": "<managed-identity-id>"
  }
}' --profile <profile-name>
```
応答内のストレージ資格情報 ID を記録しておきます。
次の Databricks CLI コマンドを実行して、metastore_id を取得します。 <profile-name> を Azure Databricks 認証構成プロファイルの名前に置き換えます。
```
databricks metastores summary --profile <profile-name>
```
次の Databricks CLI コマンドを実行して、新しいルートストレージの資格情報でメタストアを更新します。

プレースホルダー値を次のように置き換えます。
- <metastore-id>: 前のステップで取得したメタストア ID。
- <storage-credential-id>: ストレージ資格情報 ID。
- <profile-name>: Azure Databricks 認証構成プロファイルの名前。
```
databricks metastores update <metastore-id> \
--storage-root-credential-id <storage-credential-id> \
--profile <profile-name>
```

次の方法で共有

Unity Catalog で Azure マネージド ID を使用してストレージにアクセスする

Azure マネージド ID とは何か?

Unity Catalog のマネージド ID を構成する

必要条件

ステップ 1: Azure Databricks 用のアクセスコネクタを作成する

システム割り当てマネージド ID を使用する

ユーザー割り当てマネージド ID を使用する

ステップ 2: マネージド ID にストレージアカウントへのアクセスを許可する

手順 3: マネージド ID にファイルイベントへのアクセス権を付与する

手順 4: ユーザーに代わって Azure Databricks にファイルイベントを構成するアクセス権を付与する

マネージド ID を使用して Unity Catalog ルートストレージアカウントにアクセスする

Unity Catalog で管理されている外部ストレージにマネージド ID を使用してアクセスする

(VNet インジェクションワークスペースの場合に推奨) マネージド ID に基づいて Azure Storage への信頼されたアクセスを構成する

ステップ 1. Azure Storage にアクセスするように Azure Databricks ワークスペースを有効にする

ステップ 2: マネージド ID を有効にして Azure Storage にアクセスする

Azure Portal の使用

Azure CLI の使用

(推奨) サーバーレス SQL ウェアハウスからのアクセスを許可するように Azure Storage ファイアウォールを構成する

マネージド ID を使用してルートストレージにアクセスするように既存の Unity Catalog メタストアをアップグレードする

フィードバック

その他のリソース

次の方法で共有

Unity Catalog で Azure マネージド ID を使用してストレージにアクセスする

Azure マネージド ID とは何か?

Unity Catalog のマネージド ID を構成する

必要条件

ステップ 1: Azure Databricks 用のアクセス コネクタを作成する

システム割り当てマネージド ID を使用する

ユーザー割り当てマネージド ID を使用する

ステップ 2: マネージド ID にストレージ アカウントへのアクセスを許可する

手順 3: マネージド ID にファイル イベントへのアクセス権を付与する

手順 4: ユーザーに代わって Azure Databricks にファイル イベントを構成するアクセス権を付与する

マネージド ID を使用して Unity Catalog ルート ストレージ アカウントにアクセスする

Unity Catalog で管理されている外部ストレージにマネージド ID を使用してアクセスする

(VNet インジェクション ワークスペースの場合に推奨) マネージド ID に基づいて Azure Storage への信頼されたアクセスを構成する

ステップ 1. Azure Storage にアクセスするように Azure Databricks ワークスペースを有効にする

ステップ 2: マネージド ID を有効にして Azure Storage にアクセスする

Azure Portal の使用

Azure CLI の使用

(推奨) サーバーレス SQL ウェアハウスからのアクセスを許可するように Azure Storage ファイアウォールを構成する

マネージド ID を使用してルート ストレージにアクセスするように既存の Unity Catalog メタストアをアップグレードする

フィードバック

その他のリソース

ステップ 1: Azure Databricks 用のアクセスコネクタを作成する

ステップ 2: マネージド ID にストレージアカウントへのアクセスを許可する

手順 3: マネージド ID にファイルイベントへのアクセス権を付与する

手順 4: ユーザーに代わって Azure Databricks にファイルイベントを構成するアクセス権を付与する

マネージド ID を使用して Unity Catalog ルートストレージアカウントにアクセスする

(VNet インジェクションワークスペースの場合に推奨) マネージド ID に基づいて Azure Storage への信頼されたアクセスを構成する

マネージド ID を使用してルートストレージにアクセスするように既存の Unity Catalog メタストアをアップグレードする