Dela via


Installera Databricks Connect för Scala

Kommentar

Den här artikeln beskriver Databricks Connect för Databricks Runtime 13.3 LTS och senare.

I den här artikeln beskrivs hur du installerar Databricks Connect för Scala. Se Vad är Databricks Connect?. Python-versionen av den här artikeln finns i Installera Databricks Connect för Python.

Krav

  • Din Azure Databricks-målarbetsyta och ditt kluster måste uppfylla kraven för Beräkningskonfiguration för Databricks Connect.

  • Du har Java Development Kit (JDK) installerat på utvecklingsdatorn. Databricks rekommenderar att versionen av JDK-installationen matchar JDK-versionen i Azure Databricks-klustret. Information om hur du hittar JDK-versionen av Databricks Runtime på ditt kluster finns i avsnittet System environment i Databricks Runtime release notes eller versionskompatibilitetstabellen.

    Kommentar

    Om du väljer en JDK-installation som är lägre än eller högre än JDK-versionen i klustret kan det ge oväntade resultat, eller så kanske koden inte körs alls.

  • Du har Scala installerat på utvecklingsdatorn. Databricks rekommenderar att versionen av Scala-installationen matchar Scala-versionen i ditt Azure Databricks-kluster. Information om hur du hittar Scala-versionen av Databricks Runtime-versionen av klustret finns i avsnittet System environment i Databricks Runtime-releasenoter eller i versionskompatibilitetstabellen.

  • Om du använder användardefinierade funktioner (UDF:er) måste de lokala Scala- och Java-versionerna matcha Scala- och Java-versionerna av Databricks Runtime-versionen av klustret. Information om hur du hittar Scala- och Java-versionerna av Databricks Runtime-versionen av klustret finns i avsnittet System environment i Databricks Runtime-viktig information eller i versionskompatibilitetstabellen.

  • Ett Scala-byggverktyg på utvecklingsdatorn, till exempel sbt.

stödmatris för version

Följande tabell visar kompatibla Databricks Connect-, JDK- och Scala-versioner. Databricks Connect-versionsnummer motsvarar Databricks Runtime-versionsnummer.

Typ av beräkning Databricks Connect-version JDK-version Scala-version
Kluster 16.0 och senare

16,0 ml och senare
JDK 17 2.12.18
Kluster 15.4 LTS

15,4 ML LTS
JDK 8 2.12.18
Kluster 13.3 LTS till 14.3 LTS

13,3 ML LTS till 14,3 ML LTS
JDK 8 2.12.15

Lägga till en referens till Databricks Connect-klienten

Om du vill konfigurera Databricks Connect-klienten lägger du först till en referens till klienten. I Scala-projektets byggfil, till exempel build.sbt för sbt, pom.xml för Maven eller build.gradle för Gradle, lägger du till följande referens till Databricks Connect-klienten. Ersätt 14.0.0 med den version av Databricks Connect-biblioteket som matchar Databricks Runtime-versionen i klustret. Du hittar versionsnumren för Databricks Connect-biblioteket på den centrala Maven-lagringsplatsen.

Sbt

libraryDependencies += "com.databricks" % "databricks-connect" % "14.0.0"

Maven

<dependency>
  <groupId>com.databricks</groupId>
  <artifactId>databricks-connect</artifactId>
  <version>14.0.0</version>
</dependency>

Gradle

implementation 'com.databricks.databricks-connect:14.0.0'

Konfigurera anslutningsegenskaper

Konfigurera sedan egenskaper för att upprätta en anslutning mellan Databricks Connect och ditt fjärranslutna Azure Databricks-kluster. Dessa egenskaper omfattar inställningar för att autentisera Databricks Connect med klustret. Se Beräkningskonfiguration för Databricks Connect.

För Databricks Connect för Databricks Runtime 13.3 LTS och senare innehåller Databricks Connect Databricks SDK för Java för Scala. Denna SDK implementerar Databricks-klientens enhetliga autentiseringsstandard, en konsoliderad och konsekvent arkitektur- och programmatisk metod för autentisering. Den här metoden gör det mer centraliserat och förutsägbart att konfigurera och automatisera autentisering med Azure Databricks. Det gör att du kan konfigurera Azure Databricks-autentisering en gång och sedan använda den konfigurationen över flera Azure Databricks-verktyg och SDK:er utan ytterligare autentiseringskonfigurationsändringar.

Kommentar

  • OAuth-autentisering från användare till dator (U2M) stöds på Databricks SDK för Java 0.18.0 och senare. Du kan behöva uppdatera kodprojektets installerade version av Databricks SDK för Java till 0.18.0 eller senare för att använda OAuth U2M-autentisering. Se Kom igång med Databricks SDK för Java.

    För OAuth U2M-autentisering måste du använda Databricks CLI för att autentisera innan du kör Scala-koden. Se Självstudien.

  • M2M-autentisering (machine-to-machine) för OAuth stöds på Databricks SDK för Java 0.17.0 och senare. Du kan behöva uppdatera kodprojektets installerade version av Databricks SDK för Java till 0.17.0 eller senare för att använda OAuth U2M-autentisering. Se Kom igång med Databricks SDK för Java.

  • Databricks SDK för Java har ännu inte implementerat Azure-hanterad identitetsautentisering.