Databricks Connect for Python をインストールする

[アーティクル]
11/24/2024

Note

この記事では、Databricks Runtime 13.3 LTS 以降用の Databricks Connect について説明します。

この記事では、Databricks Connect for Python をインストールする方法について説明します。「Databricks Connect とは」を参照してください。この記事の Scala バージョンについては、「Databricks Connect for Scala をインストールする」を参照してください。

要件

Databricks Connect for Python をインストールするには、次の要件を満たす必要があります。

サーバーレスコンピューティングに接続する場合は、ワークスペースがサーバーレスコンピューティングの要件を満たしている必要があります。

Note

サーバーレスコンピューティングは、Databricks Connect バージョン 15.1 以降でサポートされています。さらに、サーバーレス上の Databricks Runtime リリース以下の Databricks Connect バージョンは完全に互換性があります。「リリースノート」を参照してください。 Databricks Connect バージョンがサーバーレスコンピューティングと互換性があるかどうかを確認するには、「Databricks への接続を検証する」を参照してください。
クラスターに接続する場合は、ターゲットクラスターが、Databricks Runtime のバージョン要件を含むクラスター構成要件を満たしている必要があります。

開発用コンピューターに Python 3 がインストールされていて、開発用コンピューターにインストールされている Python のマイナーバージョンが、次の表のバージョン要件を満たしている必要があります。

コンピューティングの種類	Databricks Connect バージョン	互換性のある Python バージョン
サーバーレス	15.1 以降	3.11
クラスター	15.1 以降	3.11
クラスター	13.3 LTS から 14.3 LTS	3.10

PySpark UDF を使用する場合は、開発用コンピューターにインストールされている Python のマイナーバージョンが、クラスターまたはサーバーレスコンピューティングにインストールされている Databricks Runtime に含まれる Python のマイナーバージョンと一致している必要があります。お使いのクラスターのマイナー Python バージョンを確認するには、クラスターまたはサーバーレスコンピューティングの Databricks Runtime リリースノートの「システム環境」セクションを参照してください。「Databricks Runtime リリースノートのバージョンと互換性」と「サーバーレスコンピューティングのリリースノート」を参照してください。

Python 仮想環境をアクティブ化する

Databricks では、Databricks Connect で使用する Python バージョンごとに Python "仮想環境" をアクティブにすることを強く推奨しています。 Python 仮想環境は、正しいバージョンの Python と Databricks Connect を一緒に使用していることを確認するのに役立ちます。これらのツールとそのアクティブ化方法の詳細については、venv または Poetry に関するページを参照してください。

Databricks Connect クライアントをインストールする

このセクションでは、venv または Poetry を使って Databricks Connect クライアントをインストールする方法について説明します。

Note

Visual Studio Code 用の Databricks 拡張機能が既にインストールされている場合は、これらのセットアップ手順に従う必要はありません。Visual Studio Code 用の Databricks 拡張機能には、Databricks Runtime 13.3 LTS 以降用の Databricks Connect のサポートが既に組み込まれているためです。「Visual Studio Code の Databricks 拡張機能に Databricks Connect を使用したデバッグコード」へスキップしてください。

venv を使って Databricks Connect クライアントをインストールする

仮想環境がアクティブな状態で、uninstall コマンドを実行して PySpark をアンインストールします (既にインストールされている場合)。これは、databricks-connect パッケージが PySpark と競合するために必要です。詳細については、「PySpark インストールの競合」を参照してください。 PySpark が既にインストールされているかどうかを調べるには、show コマンドを実行します。
```
# Is PySpark already installed?
pip3 show pyspark

# Uninstall PySpark
pip3 uninstall pyspark
```
仮想環境がアクティブな状態のままで、install コマンドを実行して Databricks Connect クライアントをインストールします。 --upgrade オプションを使用して、既存のクライアントインストールを指定したバージョンにアップグレードします。
```
pip3 install --upgrade "databricks-connect==15.4.*"  # Or X.Y.* to match your cluster version.
```
注意

Databricks では、最新のパッケージがインストールされるように、databricks-connect=X.Y ではなく databricks-connect==X.Y.* を指定する "ドットとアスタリスク" の表記を追加することをお勧めします。これは要件ではありませんが、そのクラスターでサポートされている最新の機能を使用できるようにするのに役立ちます。

Poetry を使って Databricks Connect クライアントをインストールする

仮想環境がアクティブな状態で、remove コマンドを実行して PySpark をアンインストールします (既にインストールされている場合)。これは、databricks-connect パッケージが PySpark と競合するために必要です。詳細については、「PySpark インストールの競合」を参照してください。 PySpark が既にインストールされているかどうかを調べるには、show コマンドを実行します。
```
# Is PySpark already installed?
poetry show pyspark

# Uninstall PySpark
poetry remove pyspark
```
仮想環境がアクティブな状態のままで、add コマンドを実行して Databricks Connect クライアントをインストールします。
```
poetry add databricks-connect@~15.4  # Or X.Y to match your cluster version.
```
Note

Databricks では、最新のパッケージがインストールされるように、databricks-connect==15.4 ではなく databricks-connect@~15.4 を指定する "アットとチルダ" の表記を使うことをお勧めします。これは要件ではありませんが、そのクラスターでサポートされている最新の機能を使用できるようにするのに役立ちます。

次のステップ

Databricks Connect をインストールしたら、Databricks への接続を構成する必要があります。 Databricks Connect の Compute 構成を参照してください。

次の方法で共有