Установка Databricks Connect для Scala

Статья
01/22/2025

Примечание.

В этой статье рассматриваются Databricks Connect для Databricks Runtime 13.3 LTS и более поздних версий.

В этой статье описывается установка Databricks Connect для Scala. См. раздел "Что такое Databricks Connect?". Версию Python этой статьи см. в разделе "Установка Databricks Connect для Python".

Требования

Целевая рабочая область и кластер Azure Databricks должны соответствовать требованиям к конфигурации вычислений для Databricks Connect.
Пакет средств разработки Java (JDK), установленный на компьютере разработки. Databricks рекомендует использовать версию JDK в кластере Azure Databricks. Чтобы найти версию JDK в кластере, ознакомьтесь с разделом "Системная среда" заметок о выпуске Databricks Runtime для кластера. Например, Zulu 8.70.0.23-CA-linux64 соответствует JDK 8. См . заметки о выпуске Databricks Runtime и версии совместимости.
Scala, установленная на компьютере разработки. Databricks рекомендует, чтобы версия установки Scala соответствовала версии Scala в кластере Azure Databricks. Чтобы узнать версию Scala для данной версии среды выполнения Databricks в вашем кластере, обратитесь к разделу Системная среда в примечаниях к выпуску Databricks Runtime. См . заметки о выпуске Databricks Runtime и версии совместимости.
Если вы используете определяемые пользователем функции (UDF), локальные версии Scala и Java должны соответствовать версиям Scala и Java версии среды выполнения Databricks кластера. Чтобы найти версии Scala и Java версии среды выполнения Databricks в кластере, см. раздел системной среды заметок о выпуске для этой версии Databricks Runtime. См . заметки о выпуске Databricks Runtime и версии совместимости.
Средство сборки Scala на компьютере разработки, например sbt.

Добавление ссылки на клиент Databricks Connect

Чтобы настроить клиент Databricks Connect, сначала добавьте ссылку на клиент. В файле сборки проекта Scala, например build.sbt для sbtMaven или pom.xml для Gradle, добавьте следующую ссылку на клиент Databricks build.gradle Connect. Замените 14.0.0 версию библиотеки Databricks Connect, которая соответствует версии Databricks Runtime в кластере. Номера версий библиотеки Databricks Connect можно найти в центральном репозитории Maven.

Sbt

libraryDependencies += "com.databricks" % "databricks-connect" % "14.0.0"

Maven

<dependency>
  <groupId>com.databricks</groupId>
  <artifactId>databricks-connect</artifactId>
  <version>14.0.0</version>
</dependency>

Gradle

implementation 'com.databricks.databricks-connect:14.0.0'

Настройка свойств подключения

Затем настройте свойства, чтобы установить соединение между Databricks Connect и удаленным кластером Azure Databricks. Эти свойства включают параметры для проверки подлинности Databricks Connect с кластером. См . сведения о конфигурации вычислений для Databricks Connect.

Для Databricks Connect для Databricks Runtime 13.3 LTS и более поздних версий для Scala Databricks Connect включает пакет SDK Databricks для Java. Этот пакет SDK реализует стандарт унифицированной проверки подлинности клиента Databricks, консолидированный и согласованный архитектурный и программный подход к проверке подлинности. Этот подход делает настройку и автоматизацию проверки подлинности с помощью Azure Databricks более централизованным и предсказуемым. Он позволяет настроить проверку подлинности Azure Databricks один раз, а затем использовать эту конфигурацию в нескольких средствах и пакетах SDK Azure Databricks без дальнейших изменений конфигурации проверки подлинности.