Установка Databricks Connect для Scala

Статья
02/14/2025

Примечание.

В этой статье рассматриваются Databricks Connect для Databricks Runtime 13.3 LTS и более поздних версий.

В этой статье описывается установка Databricks Connect для Scala. См. раздел "Что такое Databricks Connect?". Версию Python этой статьи см. в разделе "Установка Databricks Connect для Python".

Требования

Целевая рабочая область и кластер Azure Databricks должны соответствовать требованиям к конфигурации вычислений для Databricks Connect.
На компьютере разработки установлен пакет средств разработки Java (JDK). Databricks рекомендует, чтобы версия установки JDK соответствовала версии JDK в кластере Azure Databricks. Чтобы определить версию JDK среды выполнения Databricks в вашем кластере, обратитесь к разделу системной среды примечаний к выпуску Databricks Runtime или к таблице совместимости версий .

Примечание.

Выбор установки JDK, которая находится ниже или выше версии JDK в кластере, может привести к непредвиденным результатам, или код может не выполняться вообще.
Вы установили Scala на компьютере разработки. Databricks рекомендует, чтобы версия установки Scala соответствовала версии Scala в кластере Azure Databricks. Чтобы найти версию Scala для версии среды выполнения Databricks в вашем кластере, обратитесь к разделу Системная среда в примечаниях к выпуску Databricks Runtime или к таблице совместимости версий.
Если вы используете определяемые пользователем функции (UDF), локальные версии Scala и Java должны соответствовать версиям Scala и Java версии среды выполнения Databricks кластера. Чтобы найти версии Scala и Java Databricks Runtime для вашего кластера, см. раздел системной среды заметок о выпуске Databricks Runtime или таблицу совместимости версий .
Средство сборки Scala на компьютере разработки, например sbt.

Матрица поддержки версий

В следующей таблице показаны совместимые версии Databricks Connect, JDK и Scala. Номера версий Databricks Connect соответствуют номерам версий Databricks Runtime.

Тип вычисления	Версия Databricks Connect	Версия JDK	Версия Scala
Гроздь	16.0 и выше 16.0 ML и выше	JDK 17	2.12.18
Гроздь	15.4 LTS 15.4 ML LTS	JDK 8	2.12.18
Гроздь	13.3 LTS до 14.3 LTS 13.3 ML LTS до 14.3 ML LTS	JDK 8	2.12.15

Добавление ссылки на клиент Databricks Connect

Чтобы настроить клиент Databricks Connect, сначала добавьте ссылку на клиент. В файле сборки проекта Scala, например build.sbt для sbtMaven или pom.xml для Gradle, добавьте следующую ссылку на клиент Databricks build.gradle Connect. Замените 14.0.0 версию библиотеки Databricks Connect, которая соответствует версии Databricks Runtime в кластере. Номера версий библиотеки Databricks Connect можно найти в центральном репозитории Maven.

Sbt

libraryDependencies += "com.databricks" % "databricks-connect" % "14.0.0"

Maven

<dependency>
  <groupId>com.databricks</groupId>
  <artifactId>databricks-connect</artifactId>
  <version>14.0.0</version>
</dependency>

Gradle

implementation 'com.databricks.databricks-connect:14.0.0'

Настройка свойств подключения

Затем настройте свойства, чтобы установить соединение между Databricks Connect и удаленным кластером Azure Databricks. Эти свойства включают параметры для проверки подлинности Databricks Connect с кластером. См . сведения о конфигурации вычислений для Databricks Connect.

Для Databricks Connect для Databricks Runtime 13.3 LTS и более поздних версий для Scala Databricks Connect включает пакет SDK Databricks для Java. Этот пакет SDK реализует стандарт унифицированной проверки подлинности клиента Databricks, консолидированный и согласованный архитектурный и программный подход к проверке подлинности. Этот подход делает настройку и автоматизацию проверки подлинности с помощью Azure Databricks более централизованным и предсказуемым. Он позволяет настроить проверку подлинности Azure Databricks один раз, а затем использовать эту конфигурацию в нескольких средствах и пакетах SDK Azure Databricks без дальнейших изменений конфигурации проверки подлинности.