Azure Databricks のリンク サービスを作成する
Azure Databricks ワークスペースでノートブックを実行するには、Azure Data Factory パイプラインがワークスペースに接続できる必要があり、これには認証が必要です。 この認証済み接続を有効にするには、2 つの構成タスクを実行する必要があります。
- Azure Databricks ワークスペース用の "アクセス トークン" を生成します。
- アクセス トークンを使って Azure Databricks に接続する "リンク サービス" を Azure Data Factory リソースに作成します。
アクセス トークンの生成
アクセス トークンは、ユーザー名とパスワードという形式の資格情報の代わりになる認証方法を、Azure Databricks に提供します。 アプリケーションのアクセス トークンを生成し、それが過ぎたらクライアント アプリケーションでトークンを再生成して更新する必要がある有効期限を指定できます。
アクセス トークンを作成するには、Azure Databricks ポータルの [ユーザー設定] ページの [Developer] (開発者) タブにある [新しいトークンの生成] オプションを使います。
リンク サービスの作成
Azure Data Factory から Azure Databricks に接続するには、Azure Databricks コンピューティング用のリンク サービスを作成する必要があります。 リンク サービスは、Azure Data Factory Studio の [管理] セクションの [リンク サービス] ページで作成できます。
Azure Databricks のリンク サービスを作成するときは、次の構成設定を指定する必要があります。
| 設定 | 内容 |
|---|---|
| Name | リンク サービスの一意の名前 |
| 説明 | わかりやすい説明 |
| 統合ランタイム | このリンク サービスでアクティビティを実行するために使われる統合ランタイム。 詳しくは、「Azure Data Factory の統合ランタイム」をご覧ください。 |
| Azure サブスクリプション | Azure Databricks がプロビジョニングされている Azure サブスクリプション |
| Databricks ワークスペース | Azure Databricks ワークスペース |
| クラスター | アクティビティ コードを実行する Spark クラスター。 Azure Databricks で "ジョブ クラスター" をオンデマンドで動的にプロビジョニングすることも、ワークスペース内の既存のクラスターを指定することもできます。 |
| 認証の種類 | リンクされた接続が Azure Databricks によって認証される方法。 たとえば、アクセス トークンを使います (その場合は、ワークスペース用に生成したアクセス トークンを指定する必要があります)。 |
| クラスター構成 | クラスターの Databricks ランタイムのバージョン、Python のバージョン、ワーカー ノードの種類、ワーカー ノードの数。 |