安裝 Databricks Connect for Scala
注意
本文涵蓋 Databricks Runtime 13.3 LTS 和更新版本適用的 Databricks Connect。
本文說明如何安裝 Databricks Connect for Scala。 請參閱什麼是 Databricks Connect?。 如需本文的 Python 版本,請參閱 安裝適用於 Python 的 Databricks Connect。
需求
- 您的目標 Azure Databricks 工作區和叢集必須符合 Databricks Connect 的計算組態需求。
- 安裝在開發電腦上的 Java 開發工具套件 (JDK)。 Databricks 建議您使用的 JDK 安裝版本符合 Azure Databricks 叢集上的 JDK 版本。 若要在叢集上尋找 JDK 版本,請參閱叢集 Databricks Runtime 版本資訊中的「系統環境」一節。 例如,
Zulu 8.70.0.23-CA-linux64
對應至 JDK 8。 請參閱 Databricks Runtime 版本資訊版本和相容性。 - 安裝在開發電腦上的 Scala。 Databricks 建議您的 Scala 安裝版本符合 Azure Databricks 叢集上的 Scala 版本。 若要尋找叢集的 Databricks Runtime 版本中的 Scala 版本,請參閱該版本的 Databricks Runtime 版本資訊的 系統環境 一節。 請參閱 Databricks Runtime 版本資訊版本和相容性。
- 如果您使用使用者定義的函式(UDF),那麼本機的 Scala 和 Java 版本必須與叢集的 Databricks Runtime 版本中的 Scala 和 Java 版本相匹配。 若要尋找叢集 Databricks Runtime 版本的 Scala 和 Java 版本,請參閱該版本的 Databricks Runtime 版本資訊 系統環境 一節。 請參閱 Databricks Runtime 版本資訊版本和相容性。
- 開發電腦上的 Scala 建置工具,例如
sbt
。
新增 Databricks Connect 用戶端的參考
若要設定 Databricks Connect 用戶端,請先新增客戶端的參考。 在 Scala 專案的建置檔案中,例如 build.sbt
sbt
pom.xml
,針對 Maven 或 build.gradle
Gradle,將下列參考新增至 Databricks Connect 用戶端。 將 取代 14.0.0
為符合叢集上 Databricks Runtime 版本的 Databricks Connect 連結庫版本。 您可以在 Maven 中央存放庫中找到 Databricks Connect 連結庫版本號碼。
Sbt
libraryDependencies += "com.databricks" % "databricks-connect" % "14.0.0"
Maven
<dependency>
<groupId>com.databricks</groupId>
<artifactId>databricks-connect</artifactId>
<version>14.0.0</version>
</dependency>
Gradle (英文)
implementation 'com.databricks.databricks-connect:14.0.0'
設定連線屬性
接下來,設定屬性以建立 Databricks Connect 與遠端 Azure Databricks 叢集之間的連線。 這些屬性包括用來驗證 Databricks Connect 與叢集的設定。 請參閱 Databricks Connect 的計算組態。
針對 Databricks Connect for Databricks Runtime 13.3 LTS 和更新版本,針對 Scala,Databricks Connect 包含適用於 Java 的 Databricks SDK。 此 SDK 會實作 Databricks 用戶端統一驗證 標準、合並且一致的架構和驗證程序設計方法。 這種方法可讓使用 Azure Databricks 更集中且可預測的方式來設定和自動化驗證。 它可讓您設定 Azure Databricks 驗證一次,然後在多個 Azure Databricks 工具和 SDK 之間使用該設定,而不需要進一步的驗證組態變更。
注意
適用於 Java 0.18.0 和更新版本之 Databricks SDK 支援 OAuth 使用者對電腦 (U2M) 驗證 。 您可能需要將程式代碼專案的已安裝 Databricks SDK for Java 版本更新為 0.18.0 或更新版本,才能使用 OAuth U2M 驗證。 請參閱 開始使用適用於 Java 的 Databricks SDK。
針對 OAuth U2M 驗證,您必須先使用 Databricks CLI 進行驗證,才能執行 Scala 程式代碼。 請參閱教學課程。
適用於 Java 0.17.0 和更新版本之 Databricks SDK 支援 OAuth 機器對機器 (M2M) 驗證 。 您可能需要將程式代碼專案的已安裝 Databricks SDK for Java 版本更新為 0.17.0 或更新版本,才能使用 OAuth U2M 驗證。 請參閱 開始使用適用於 Java 的 Databricks SDK。
Databricks SDK for Java 尚未實 作 Azure 受控識別驗證。