Installera Databricks Connect för Scala
Kommentar
Den här artikeln beskriver Databricks Connect för Databricks Runtime 13.3 LTS och senare.
I den här artikeln beskrivs hur du installerar Databricks Connect för Scala. Se Vad är Databricks Connect?. Python-versionen av den här artikeln finns i Installera Databricks Connect för Python.
Krav
Din Azure Databricks-målarbetsyta och ditt kluster måste uppfylla kraven för Beräkningskonfiguration för Databricks Connect.
Du har Java Development Kit (JDK) installerat på utvecklingsdatorn. Databricks rekommenderar att versionen av JDK-installationen matchar JDK-versionen i Azure Databricks-klustret. Information om hur du hittar JDK-versionen av Databricks Runtime på ditt kluster finns i avsnittet System environment i Databricks Runtime release notes eller versionskompatibilitetstabellen.
Kommentar
Om du väljer en JDK-installation som är lägre än eller högre än JDK-versionen i klustret kan det ge oväntade resultat, eller så kanske koden inte körs alls.
Du har Scala installerat på utvecklingsdatorn. Databricks rekommenderar att versionen av Scala-installationen matchar Scala-versionen i ditt Azure Databricks-kluster. Information om hur du hittar Scala-versionen av Databricks Runtime-versionen av klustret finns i avsnittet System environment i Databricks Runtime-releasenoter eller i versionskompatibilitetstabellen.
Om du använder användardefinierade funktioner (UDF:er) måste de lokala Scala- och Java-versionerna matcha Scala- och Java-versionerna av Databricks Runtime-versionen av klustret. Information om hur du hittar Scala- och Java-versionerna av Databricks Runtime-versionen av klustret finns i avsnittet System environment i Databricks Runtime-viktig information eller i versionskompatibilitetstabellen.
Ett Scala-byggverktyg på utvecklingsdatorn, till exempel
sbt
.
stödmatris för version
Följande tabell visar kompatibla Databricks Connect-, JDK- och Scala-versioner. Databricks Connect-versionsnummer motsvarar Databricks Runtime-versionsnummer.
Typ av beräkning | Databricks Connect-version | JDK-version | Scala-version |
---|---|---|---|
Kluster | 16.0 och senare 16,0 ml och senare |
JDK 17 | 2.12.18 |
Kluster | 15.4 LTS 15,4 ML LTS |
JDK 8 | 2.12.18 |
Kluster | 13.3 LTS till 14.3 LTS 13,3 ML LTS till 14,3 ML LTS |
JDK 8 | 2.12.15 |
Lägga till en referens till Databricks Connect-klienten
Om du vill konfigurera Databricks Connect-klienten lägger du först till en referens till klienten. I Scala-projektets byggfil, till exempel build.sbt
för sbt
, pom.xml
för Maven eller build.gradle
för Gradle, lägger du till följande referens till Databricks Connect-klienten. Ersätt 14.0.0
med den version av Databricks Connect-biblioteket som matchar Databricks Runtime-versionen i klustret. Du hittar versionsnumren för Databricks Connect-biblioteket på den centrala Maven-lagringsplatsen.
Sbt
libraryDependencies += "com.databricks" % "databricks-connect" % "14.0.0"
Maven
<dependency>
<groupId>com.databricks</groupId>
<artifactId>databricks-connect</artifactId>
<version>14.0.0</version>
</dependency>
Gradle
implementation 'com.databricks.databricks-connect:14.0.0'
Konfigurera anslutningsegenskaper
Konfigurera sedan egenskaper för att upprätta en anslutning mellan Databricks Connect och ditt fjärranslutna Azure Databricks-kluster. Dessa egenskaper omfattar inställningar för att autentisera Databricks Connect med klustret. Se Beräkningskonfiguration för Databricks Connect.
För Databricks Connect för Databricks Runtime 13.3 LTS och senare innehåller Databricks Connect Databricks SDK för Java för Scala. Denna SDK implementerar Databricks-klientens enhetliga autentiseringsstandard, en konsoliderad och konsekvent arkitektur- och programmatisk metod för autentisering. Den här metoden gör det mer centraliserat och förutsägbart att konfigurera och automatisera autentisering med Azure Databricks. Det gör att du kan konfigurera Azure Databricks-autentisering en gång och sedan använda den konfigurationen över flera Azure Databricks-verktyg och SDK:er utan ytterligare autentiseringskonfigurationsändringar.
Kommentar
OAuth-autentisering från användare till dator (U2M) stöds på Databricks SDK för Java 0.18.0 och senare. Du kan behöva uppdatera kodprojektets installerade version av Databricks SDK för Java till 0.18.0 eller senare för att använda OAuth U2M-autentisering. Se Kom igång med Databricks SDK för Java.
För OAuth U2M-autentisering måste du använda Databricks CLI för att autentisera innan du kör Scala-koden. Se Självstudien.
M2M-autentisering (machine-to-machine) för OAuth stöds på Databricks SDK för Java 0.17.0 och senare. Du kan behöva uppdatera kodprojektets installerade version av Databricks SDK för Java till 0.17.0 eller senare för att använda OAuth U2M-autentisering. Se Kom igång med Databricks SDK för Java.
Databricks SDK för Java har ännu inte implementerat Azure-hanterad identitetsautentisering.