Installare Databricks Connect per Scala
Nota
Questo articolo illustra Databricks Connect per Databricks Runtime 13.3 LTS e versioni successive.
Questo articolo descrive come installare Databricks Connect per Scala. Consultare Cos’è Databricks Connect?. Per la versione Python di questo articolo, vedere Installare Databricks Connect per Python.
Requisiti
L'area di lavoro e il cluster di Azure Databricks di destinazione devono soddisfare i requisiti per la configurazione di calcolo per Databricks Connect.
Nel computer di sviluppo è installato Java Development Kit (JDK). Databricks consiglia che la versione dell'installazione di JDK corrisponda alla versione JDK nel cluster Azure Databricks. Per trovare la versione JDK di Databricks Runtime nel cluster, fare riferimento alla sezione ambiente di sistema delle note sulla versione di Databricks Runtime o alla tabella di compatibilità delle versioni .
Nota
La scelta di un'installazione JDK sottostante o successiva alla versione JDK nel cluster potrebbe produrre risultati imprevisti oppure il codice potrebbe non essere eseguito affatto.
Nel computer di sviluppo è installato Scala. Databricks consiglia che la versione dell'installazione di Scala deve corrispondere alla versione Scala nel cluster Azure Databricks. Per trovare la versione Scala della versione di Databricks Runtime del cluster, vedere la sezione ambiente di sistema alle note sulla versione Databricks Runtime o consultare la tabella di compatibilità della versione .
Se si usano funzioni definite dall'utente, le versioni locali di Scala e Java devono corrispondere alle versioni Scala e Java della versione di Databricks Runtime del cluster. Per trovare le versioni di Scala e Java della versione di Databricks Runtime del tuo cluster, consulta la sezione ambiente di sistema delle note di rilascio di Databricks Runtime o la tabella di compatibilità delle versioni .
Uno strumento di compilazione Scala nel computer di sviluppo, ad esempio
sbt
.
Tabella di supporto per le versioni di
La tabella seguente illustra le versioni compatibili di Databricks Connect, JDK e Scala. I numeri di versione di Databricks Connect corrispondono ai numeri di versione di Databricks Runtime.
Tipo di ambiente di calcolo | Versione di Databricks Connect | Versione di JDK | Versione di Scala |
---|---|---|---|
Grappolo | 16.0 e versioni successive 16.0 ML e versioni successive |
JDK 17 | 2.12.18 |
Grappolo | 15.4 LTS 15.4 ML LTS |
JDK 8 | 2.12.18 |
Grappolo | Da 13.3 LTS a 14.3 LTS Da 13.3 ML LTS a 14.3 ML LTS |
JDK 8 | 2.12.15 |
Aggiungere un riferimento al client Databricks Connect
Per configurare il client Databricks Connect, aggiungere prima di tutto un riferimento al client. Nel file di compilazione del progetto Scala, ad build.sbt
esempio per sbt
, pom.xml
per Maven o build.gradle
per Gradle, aggiungere il riferimento seguente al client Databricks Connect. Sostituire 14.0.0
con la versione della libreria Databricks Connect corrispondente alla versione di Databricks Runtime nel cluster. È possibile trovare i numeri di versione della libreria Databricks Connect nel repository centrale Maven.
Sbt
libraryDependencies += "com.databricks" % "databricks-connect" % "14.0.0"
Maven
<dependency>
<groupId>com.databricks</groupId>
<artifactId>databricks-connect</artifactId>
<version>14.0.0</version>
</dependency>
Gradle
implementation 'com.databricks.databricks-connect:14.0.0'
Configurare le proprietà di connessione
Configurare quindi le proprietà per stabilire una connessione tra Databricks Connect e il cluster Azure Databricks remoto. Queste proprietà includono le impostazioni per autenticare Databricks Connect con il cluster. Vedere Configurazione di calcolo per Databricks Connect.
Per Databricks Connect per Databricks Runtime 13.3 LTS e versioni successive, per Scala, Databricks Connect include Databricks SDK per Java. Questo SDK implementa lo standard di autenticazione unificata del client Databricks, un approccio architetturale e programmatico consolidato e coerente all'autenticazione. Questo approccio consente di configurare e automatizzare l'autenticazione con Azure Databricks più centralizzato e prevedibile. Consente di configurare l'autenticazione di Azure Databricks una sola volta e quindi di usarla in più strumenti e SDK di Azure Databricks senza ulteriori modifiche alla configurazione dell'autenticazione.
Nota
L'autenticazione da utente a computer (U2M) OAuth è supportata in Databricks SDK per Java 0.18.0 e versioni successive. Potrebbe essere necessario aggiornare la versione installata del progetto di codice di Databricks SDK per Java alla versione 0.18.0 o successiva per usare l'autenticazione U2M OAuth. Consulta Introduzione al Databricks SDK per Java.
Per l'autenticazione U2M OAuth, è necessario usare l'interfaccia della riga di comando di Databricks per eseguire l'autenticazione prima di eseguire il codice Scala. Vedere l'esercitazione.
L'autenticazione da computer a computer (M2M) OAuth è supportata in Databricks SDK per Java 0.17.0 e versioni successive. Potrebbe essere necessario aggiornare la versione installata del progetto di codice di Databricks SDK per Java alla versione 0.17.0 o successiva per usare l'autenticazione U2M OAuth. Consulta Introduzione al Databricks SDK per Java.
Databricks SDK per Java non ha ancora implementato l'autenticazione delle identità gestite di Azure.