クラスター ライブラリ
クラスター ライブラリは、クラスターで実行されているすべてのノートブックとジョブで使用できます。 この記事では、Azure Databricks ワークスペースでの [Install library] (ライブラリのインストール) UI の使用について詳しく説明します。
Note
ライブラリのインストールを適用するポリシーを使ってコンピューティングを作成した場合、コンピューティングにライブラリをインストールまたはアンインストールすることはできません。 ワークスペース管理者は、ポリシー レベルですべてのライブラリ管理を制御します。
次の方法を使用して、クラスターにライブラリをインストールできます。
特定のクラスターでのみ使用するライブラリをインストールします。
REST API を使用してライブラリをインストールする。 ライブラリ API に関する記事を参照してください。
Databricks CLI を使用してライブラリをインストールする。 「Databricks CLI とは」を参照してください。
Terraform を使用してライブラリをインストールする。 「Databricks Terraform プロバイダー」と「databricks_library」を参照してください。
ライブラリのインストールを定義するポリシーを使ってクラスターを作成し、ライブラリをインストールします。 「ライブラリをポリシーに追加する」を参照してください。
(非推奨) クラスターの作成時に実行される init スクリプトを使ってライブラリをインストールする。 「init スクリプトを使用してライブラリをインストールする (レガシ)」を参照してください。
クラスターにライブラリをインストールする
ライブラリをクラスターにインストールするには、次のようにします。
- サイドバーにある
[コンピューティング] をクリックします。 - クラスター名をクリックします。
- [ライブラリ] タブをクリックします。
- [新規インストール] をクリックします。
- [Install library] (ライブラリのインストール) ダイアログが表示されます。
- [Library Source] (ライブラリ ソース) オプションのいずれかを選択し、表示される手順を完了して、[インストール] をクリックします。
重要
Databricks Runtime 14.3 LTS 以下を使用する場合は、DBFS からライブラリをインストールできます。 ただし、ワークスペース ユーザーは、DBFS に格納されているライブラリ ファイルを変更できます。 Azure Databricks ワークスペース内のライブラリのセキュリティを向上させるために、Databricks Runtime 15.1 以降では、ライブラリ ファイルを DBFS ルートに格納することは非推奨となり、既定では無効になっています。 「DBFS ルートにライブラリを格納することは非推奨であり、既定では無効になっている」を参照してください。
Databricks は、代わりにワークスペース ファイルまたは Unity Catalog ボリュームに Python ライブラリ、JAR ファイル、Spark コネクタを含むすべてのライブラリをアップロードするか、ライブラリ パッケージ リポジトリを使用することを推奨しています。 ワークロードでこれらのパターンがサポートされない場合、クラウド オブジェクト ストレージに格納されているライブラリも使用できます。
すべてのクラスター アクセス モードですべてのライブラリ構成がサポートされているわけではありません。 「クラスター スコープ ライブラリ」を参照してください。
| ライブラリ ソース | 手順 |
|---|---|
| ワークスペース | ワークスペース ファイルを選ぶか、Whl、zip 形式の wheelhouse、JAR、ZIP、tar、または requirements.txt ファイルをアップロードします。 「ワークスペース ファイルからライブラリをインストールする」を参照してください |
| Volumes | ボリュームから Whl、JAR、またはrequirements.txt ファイルを選択します。 「ボリュームからライブラリをインストールする」を参照してください。 |
| File Path/ADLS (ファイル パス/ADLS) | ライブラリの種類を選び、ライブラリ オブジェクトへの完全な URI を指定します (例: /Workspace/path/to/library.whl、/Volumes/path/to/library.whl、または abfss://container-name@storage-account-name.dfs.core.windows.net/path/to/library.whl)。 「オブジェクト ストレージからライブラリをインストールする」を参照してください。 |
| PyPI | PyPI パッケージ名を入力します。 「PyPi パッケージ」をご覧ください。 |
| Maven | Maven 座標を指定します。 「Maven または Spark パッケージ」をご覧ください。 |
| CRAN | パッケージの名前を入力します。 「CRAN パッケージ」をご覧ください。 |
| DBFS (非推奨) | JAR または Whl ファイルを DBFS ルートに読み込みます。 DBFS に保存されているファイルは、どのワークスペース ユーザーでも変更できるため、これはお勧めしません。 |
クラスターにライブラリをインストールする場合、そのクラスターに既に接続されているノートブックには新しいライブラリがすぐに表示されません。 最初にノートブックをデタッチしてから、クラスターに再アタッチする必要があります。
Note
インストールに 2 時間より長くかかったライブラリは、失敗としてマークされます。
ポリシーを使ったライブラリのインストール
ライブラリのインストールを適用するポリシーを使ってクラスターを作成すると、指定したライブラリがクラスターに自動的にインストールされます。 追加ライブラリのインストールや、ライブラリのアンインストールはできません。
ワークスペース管理者は、ポリシーにライブラリを追加して、ポリシーを使うすべてのコンピューティングでライブラリのインストールを管理および適用できます。 管理者の手順については、「ライブラリをポリシーに追加する」を参照してください。
クラスターからライブラリをアンインストールする
注意
クラスターからライブラリをアンインストールした場合、そのライブラリは、クラスターを再起動したときに初めて削除されます。 クラスターを再起動するまで、アンインストールされたライブラリの状態は「再起動までアンインストールを保留」と表示されます。
ライブラリをアンインストールするには、クラスター UI を使用します。
- サイドバーにある [コンピューティング] をクリックします。
- クラスター名をクリックします。
- [ライブラリ] タブをクリックします。
- ライブラリをアンインストールするクラスターの横にあるチェックボックスをオンにし、[アンインストール]、[確認]の順にクリックします。 状態が [再起動までアンインストールを保留] に変わります。
[再起動] と [確認] をクリックすると、ライブラリがアンインストールされます。 ライブラリは、クラスターの [ライブラリ] タブから削除されます。
クラスターにインストールされているライブラリを表示する
- サイドバーにある [コンピューティング] をクリックします。
- クラスター名をクリックします。
- [ライブラリ] タブをクリックします。ライブラリごとに、名前とバージョン、種類、インストール状態が表示され、アップロードされている場合はソースファイルが表示されます。
クラスターにインストールされたライブラリを更新する
クラスターにインストールされているライブラリを更新するには、古いバージョンのライブラリをアンインストールしてから、新しいバージョンをインストールします。
Note
Requirements.txt ファイルをアンインストールして再起動する必要はありません。 requirements.txt ファイルの内容を変更した場合は、単に再インストールすれば、インストールされているファイルの内容が更新されます。