次の方法で共有

Scala 用 Databricks Connect に移行する

  • [アーティクル]

メモ

Databricks Runtime 13.3 LTS 以降の Scala 用 Databricks Connect は、パブリック プレビューの段階にあります。

この記事では、Databricks Connect for Databricks Runtime 12.2 LTS 以降から Databricks Runtime 13.3 LTS 以降の Scala に移行する方法について説明します。 Databricks Connect を使用すると、一般的な IDE、ノートブック サーバー、カスタム アプリケーションを Azure Databricks クラスターに接続できます。 Databricks Connectとは何かを参照してください。 この記事の Python バージョンについては、「Python用 Databricks Connect への移行」を参照してください。

メモ

Databricks Connect の使用を開始する前に、Databricks Connect クライアントを設定する必要があります。

  1. Azure Databricks クラスターに一致するように インストール要件に示されているように、Java Development Kit (JDK) と Scala の正しいバージョンをインストールします (まだローカルにインストールされていない場合)。

  2. sbtの build.sbt、Maven の pom.xml、Gradle の build.gradle など、Scala プロジェクトのビルド ファイルで、Databricks Connect クライアントへの次の参照を更新します。

    Sbt

    libraryDependencies += "com.databricks" % "databricks-connect" % "14.0.0"

    専門家

    <dependency>
  <groupId>com.databricks</groupId>
  <artifactId>databricks-connect</artifactId>
  <version>14.0.0</version>
</dependency>

    Gradle

    implementation 'com.databricks.databricks-connect:14.0.0'

    14.0.0 を、クラスターの Databricks Runtime バージョンと一致する Databricks Connect ライブラリのバージョンに置き換えてください。 Databricks Connect ライブラリのバージョン番号は、Maven 中央リポジトリで確認できます。

  3. Scala コードを更新して、spark 変数を初期化します (Spark の SparkSession と同様に、DatabricksSession クラスのインスタンス化を表します)。 コード例については、Scala用 Databricks Connect のコード例を参照してください。