安裝 Databricks Connect for Scala
注意
本文涵蓋 Databricks Runtime 13.3 LTS 和更新版本適用的 Databricks Connect。
本文說明如何安裝 Databricks Connect for Scala。 請參閱什麼是 Databricks Connect?。 如需本文的 Python 版本,請參閱 安裝適用於 Python 的 Databricks Connect。
需求
您的目標 Azure Databricks 工作區和叢集必須符合 Databricks Connect 的計算組態需求。
您已在開發電腦上安裝 Java 開發工具套件 (JDK)。 Databricks 建議 JDK 安裝版本符合 Azure Databricks 叢集上的 JDK 版本。 若要在叢集上尋找 Databricks Runtime 的 JDK 版本,請參閱 Databricks Runtime 版本資訊 或 版本相容性數據表的 System environment 一節。
注意
選擇叢集上 JDK 版本低於或高於 JDK 版本的 JDK 安裝可能會產生非預期的結果,或您的程式代碼可能完全無法執行。
您的開發電腦上已安裝 Scala。 Databricks 建議您的 Scala 安裝版本符合 Azure Databricks 叢集上的 Scala 版本。 若要尋找叢集 Databricks Runtime 版本的 Scala 版本,請參閱 Databricks Runtime 版本資訊 或 版本相容性數據表的 系統環境 一節。
如果您使用使用者定義的函式(UDF),那麼本機的 Scala 和 Java 版本必須與叢集的 Databricks Runtime 版本中的 Scala 和 Java 版本相匹配。 若要尋找叢集 Databricks Runtime 版本的 Scala 和 Java 版本,請參閱 Databricks Runtime 版本資訊 或 版本相容性數據表的 System environment 一節。
開發電腦上的 Scala 建置工具,例如
sbt
。
版本支援矩陣
下表顯示相容的 Databricks Connect、JDK 和 Scala 版本。 Databricks Connect 版本號碼對應至 Databricks 運行時間版本號碼。
計算類型 | Databricks Connect 版本 | JDK 版本 | Scala 版本 |
---|---|---|---|
集群 | 16.0 和更新版本 16.0 ML 和更新版本 |
JDK 17 | 2.12.18 |
集群 | 15.4 LTS 15.4 ML LTS |
JDK 8 | 2.12.18 |
集群 | 13.3 LTS 至 14.3 LTS 13.3 ML LTS 至 14.3 ML LTS |
JDK 8 | 2.12.15 |
新增 Databricks Connect 用戶端的參考
若要設定 Databricks Connect 用戶端,請先新增對用戶端的引用。 在 Scala 專案的建置檔案中,例如 build.sbt
sbt
pom.xml
,針對 Maven 或 build.gradle
Gradle,將下列參考新增至 Databricks Connect 用戶端。 將 取代 14.0.0
為符合叢集上 Databricks Runtime 版本的 Databricks Connect 連結庫版本。 您可以在 Maven 中央存放庫中找到 Databricks Connect 連結庫版本號碼。
Sbt
libraryDependencies += "com.databricks" % "databricks-connect" % "14.0.0"
Maven
<dependency>
<groupId>com.databricks</groupId>
<artifactId>databricks-connect</artifactId>
<version>14.0.0</version>
</dependency>
Gradle (英文)
implementation 'com.databricks.databricks-connect:14.0.0'
設定連線屬性
接下來,設定屬性以建立 Databricks Connect 與遠端 Azure Databricks 叢集之間的連線。 這些屬性包括用來驗證 Databricks Connect 與叢集的設定。 請參閱 Databricks Connect 的計算組態。
針對 Databricks Connect for Databricks Runtime 13.3 LTS 和更新版本,針對 Scala,Databricks Connect 包含適用於 Java 的 Databricks SDK。 此 SDK 會實作 Databricks 用戶端統一驗證 標準、合並且一致的架構和驗證程序設計方法。 這種方法可讓使用 Azure Databricks 更集中且可預測的方式來設定和自動化驗證。 它可讓您設定 Azure Databricks 驗證一次,然後在多個 Azure Databricks 工具和 SDK 之間使用該設定,而不需要進一步的驗證組態變更。
注意
適用於 Java 0.18.0 和更新版本之 Databricks SDK 支援 OAuth 使用者對電腦 (U2M) 驗證 。 您可能需要將程式代碼專案的已安裝 Databricks SDK for Java 版本更新為 0.18.0 或更新版本,才能使用 OAuth U2M 驗證。 請參閱 開始使用適用於 Java 的 Databricks SDK。
針對 OAuth U2M 驗證,您必須先使用 Databricks CLI 進行驗證,才能執行 Scala 程式代碼。 請參閱教學課程。
適用於 Java 0.17.0 和更新版本之 Databricks SDK 支援 OAuth 機器對機器 (M2M) 驗證 。 您可能需要將程式代碼專案的已安裝 Databricks SDK for Java 版本更新為 0.17.0 或更新版本,才能使用 OAuth U2M 驗證。 請參閱 開始使用適用於 Java 的 Databricks SDK。
Databricks SDK for Java 尚未實 作 Azure 受控識別驗證。