Databricks Connect for Scala をインストールする

[アーティクル]
02/18/2025

Note

この記事では、Databricks Runtime 13.3 LTS 以降用の Databricks Connect について説明します。

この記事では、Databricks Connect for Scala をインストールする方法について説明します。「Databricks Connect とは」を参照してください。この記事の Python バージョンについては、「Databricks Connect for Python をインストールする」を参照してください。

要件

ターゲットの Azure Databricks ワークスペースとクラスターは、Databricks Connect の Compute 構成の要件を満たしている必要があります。
開発マシンに Java Development Kit (JDK) がインストールされている。 Databricks では、JDK インストールのバージョンが Azure Databricks クラスターの JDK バージョンと一致することを推奨します。クラスター上の Databricks Runtime の JDK バージョンを確認するには、Databricks Runtime リリースノートの システム環境 セクション、またはバージョン互換性テーブルを参照してください。

Note

クラスターの JDK バージョンより下または上の JDK インストールを選択すると、予期しない結果が発生したり、コードがまったく実行されない可能性があります。
Scala が開発用コンピューターにインストールされている。 Databricks は、Scala インストールのバージョンを Azure Databricks クラスターの Scala バージョンと一致させることを推奨しています。クラスターの Databricks Runtime バージョンの Scala バージョンを確認するには、Databricks Runtime リリースノートの システム環境の セクション、またはバージョン互換性テーブルを参照してください。
ユーザー定義関数 (UDF) を使用している場合は、ローカルの Scala および Java のバージョンが、クラスターの Databricks Runtime バージョンの Scala および Java のバージョンと一致する必要があります。クラスターの Databricks Runtime バージョンの Scala と Java のバージョンを確認するには、Databricks Runtime リリースノートの System Environment セクション、またはバージョン互換性テーブルを参照してください。
開発用マシン上の Scala ビルドツール (sbt など)。

バージョンサポート一覧表

次の表は、互換性のある Databricks Connect、JDK、Scala のバージョンを示しています。 Databricks Connect のバージョン番号は、Databricks Runtime のバージョン番号に対応しています。

コンピューティングの種類	Databricks Connect バージョン	JDK バージョン	Scala バージョン
クラスター	16.0 以降 16.0 ML 以上	JDK 17	2.12.18
クラスター	15.4 LTS 15.4 ML LTS	JDK 8	2.12.18
クラスター	13.3 LTS から 14.3 LTS 13.3 ML LTS から 14.3 ML LTS	JDK 8	2.12.15

Databricks Connect クライアントへの参照を追加する

Databricks Connect クライアントを設定するには、最初にクライアントへの参照を追加します。 build.sbtのsbt、Maven のpom.xml、Gradle のbuild.gradleなど、Scala プロジェクトのビルドファイルで、Databricks Connect クライアントに次の参照を追加します。 14.0.0 を、クラスターの Databricks Runtime バージョンと一致する Databricks Connect ライブラリのバージョンに置き換えてください。 Databricks Connect ライブラリのバージョン番号は、Maven 中央リポジトリで確認できます。

Sbt

libraryDependencies += "com.databricks" % "databricks-connect" % "14.0.0"

Maven

<dependency>
  <groupId>com.databricks</groupId>
  <artifactId>databricks-connect</artifactId>
  <version>14.0.0</version>
</dependency>

Gradle

implementation 'com.databricks.databricks-connect:14.0.0'

接続プロパティを構成する

次に、Databricks Connect とリモート Azure Databricks クラスターの間の接続を確立するプロパティを構成します。これらのプロパティには、クラスターで Databricks Connect を認証するための設定が含まれます。 Databricks Connect の Compute 構成を参照してください。

Databricks Connect for Databricks Runtime 13.3 LTS 以降で、Scala の場合 Databricks Connect に Databricks SDK for Java が含まれています。この SDK は、Databricks クライアント統合認証標準を実装しています。これは、統合されていて一貫性がある、アーキテクチャとプログラムによる認証アプローチです。このアプローチは、Azure Databricks を使用した認証の設定と自動化を、より一元的で予測可能なものにします。これにより、Azure Databricks 認証を一度構成すれば、それ以上認証構成を変更しなくても、複数の Azure Databricks ツールおよび SDK でその構成を使用できます。