Installare Databricks Connect per Scala

Articolo
11/24/2024

Nota

Questo articolo illustra Databricks Connect per Databricks Runtime 13.3 LTS e versioni successive.

Questo articolo descrive come installare Databricks Connect per Scala. Consultare Cos’è Databricks Connect?. Per la versione Python di questo articolo, vedere Installare Databricks Connect per Python.

Requisiti

L'area di lavoro e il cluster di Azure Databricks di destinazione devono soddisfare i requisiti per la configurazione di calcolo per Databricks Connect.
Java Development Kit (JDK) installato nel computer di sviluppo. Databricks consiglia di usare la versione dell'installazione di JDK corrispondente alla versione JDK nel cluster Azure Databricks. Per trovare la versione di JDK nel cluster, vedere la sezione "Ambiente di sistema" delle note sulla versione di Databricks Runtime per il cluster. Ad esempio, Zulu 8.70.0.23-CA-linux64 corrisponde a JDK 8. Si veda Versioni e compatibilità delle note sulla versione di Databricks Runtime.
Scala installato nel computer di sviluppo. Databricks consiglia di usare la versione dell'installazione di Scala corrispondente alla versione scala nel cluster Azure Databricks. Per trovare la versione scala nel cluster, vedere la sezione "Ambiente di sistema" delle note sulla versione di Databricks Runtime per il cluster. Si veda Versioni e compatibilità delle note sulla versione di Databricks Runtime.
Uno strumento di compilazione Scala nel computer di sviluppo, ad esempio sbt.

Aggiungere un riferimento al client Databricks Connect

Per configurare il client Databricks Connect, aggiungere prima di tutto un riferimento al client. Nel file di compilazione del progetto Scala, ad build.sbt esempio per sbt, pom.xml per Maven o build.gradle per Gradle, aggiungere il riferimento seguente al client Databricks Connect. Sostituire 14.0.0 con la versione della libreria Databricks Connect corrispondente alla versione di Databricks Runtime nel cluster. È possibile trovare i numeri di versione della libreria Databricks Connect nel repository centrale Maven.

Sbt

libraryDependencies += "com.databricks" % "databricks-connect" % "14.0.0"

Maven

<dependency>
  <groupId>com.databricks</groupId>
  <artifactId>databricks-connect</artifactId>
  <version>14.0.0</version>
</dependency>

Gradle

implementation 'com.databricks.databricks-connect:14.0.0'

Configurare le proprietà di connessione

Configurare quindi le proprietà per stabilire una connessione tra Databricks Connect e il cluster Azure Databricks remoto. Queste proprietà includono le impostazioni per autenticare Databricks Connect con il cluster. Vedere Configurazione di calcolo per Databricks Connect.

Per Databricks Connect per Databricks Runtime 13.3 LTS e versioni successive, per Scala, Databricks Connect include Databricks SDK per Java. Questo SDK implementa lo standard di autenticazione unificata del client Databricks, un approccio architetturale e programmatico consolidato e coerente all'autenticazione. Questo approccio consente di configurare e automatizzare l'autenticazione con Azure Databricks più centralizzato e prevedibile. Consente di configurare l'autenticazione di Azure Databricks una sola volta e quindi di usarla in più strumenti e SDK di Azure Databricks senza ulteriori modifiche alla configurazione dell'autenticazione.