Freigeben über

Installieren von Databricks Connect für Scala

  • Artikel

Hinweis

Dieser Artikel behandelt Databricks Connect für Databricks Runtime Version 13.3 LTS und höher.

In diesem Artikel wird beschrieben, wie Sie Databricks Connect für Scala installieren. Weitere Informationen finden Sie unter Was ist Databricks Connect?. Die Python-Version dieses Artikels finden Sie unter Installieren von Databricks Connect für Python.

Anforderungen

  • Ihr Azure Databricks-Zielarbeitsbereich und -Zielcluster müssen die Anforderungen für die Computekonfiguration für Databricks Connect erfüllen.

  • Das Java Development Kit (JDK) muss auf Ihrem Entwicklungscomputer installiert sein. Databricks empfiehlt, dass die Version Ihrer JDK-Installation mit der JDK-Version auf Ihrem Azure Databricks-Cluster übereinstimmt. Informationen zur JDK-Version der Databricks-Runtime auf Ihrem Cluster finden Sie im Abschnitt Systemumgebung der Versionshinweise zur Databricks Runtime oder in der Versionskompatibilitätstabelle.

    Hinweis

    Wenn Sie eine JDK-Installation auswählen, deren Version älter oder neuer als die Version auf Ihrem Cluster ist, kann dies zu unerwarteten Ergebnissen führen. Möglicherweise wird Ihr Code auch überhaupt nicht ausgeführt.

  • Sie haben Scala auf Ihrem Entwicklungscomputer installiert. Databricks empfiehlt, dass die Version Ihrer Scala-Installation mit der Scala-Version auf Ihrem Azure Databricks-Cluster übereinstimmt. Informationen zur Scala-Version der Databricks-Runtime-Version Ihres Clusters finden Sie im Abschnitt Systemumgebung der Databricks Runtime-Versionshinweise oder in der Versionskompatibilitätstabelle .

  • Wenn Sie benutzerdefinierte Funktionen (UDFs) verwenden, müssen die lokalen Scala- und Java-Versionen mit den Scala- und Java-Versionen der Databricks-Runtime-Version des Clusters übereinstimmen. Informationen zu den Scala- und Java-Versionen der Databricks-Runtime-Version Ihres Clusters finden Sie im Abschnitt Systemumgebung Abschnitt der Versionshinweise Databricks Runtime oder in der Versionskompatibilitätstabelle.

  • Es gibt ein Scala-Buildtool auf Ihrem Entwicklungscomputer, z. B. sbt.

Versionsunterstützungsmatrix

Die folgende Tabelle zeigt kompatible Databricks Connect-, JDK- und Scala-Versionen. Databricks Connect-Versionsnummern entsprechen Den Versionsnummern der Databricks-Runtime.

Computetyp Databricks Connect-Version JDK-Version Scala-Version
Cluster 16.0 und höher

16.0 ML und höher		 JDK 17 2.12.18
Cluster 15.4 LTS

15.4 ML LTS		 JDK 8 2.12.18
Cluster 13.3 LTS bis 14.3 LTS

13.3 ML LTS bis 14.3 ML LTS		 JDK 8 2.12.15

Hinzufügen eines Verweises auf den Databricks Connect-Client

Um den Databricks Connect-Client einzurichten, fügen Sie zuerst einen Verweis auf den Client hinzu. Fügen Sie in der Builddatei Ihres Scala-Projekts wie z. B. build.sbt für sbt, pom.xml für Maven oder build.gradle für Gradle den folgenden Verweis auf den Databricks Connect-Client hinzu: Ersetzen Sie 14.0.0 durch die Version der Databricks Connect-Bibliothek, die der Databricks Runtime-Version auf Ihrem Cluster entspricht. Die Versionsnummern der Databricks Connect-Bibliothek finden Sie im zentralen Maven-Repository.

SBT

libraryDependencies += "com.databricks" % "databricks-connect" % "14.0.0"

Maven

<dependency>
  <groupId>com.databricks</groupId>
  <artifactId>databricks-connect</artifactId>
  <version>14.0.0</version>
</dependency>

Gradle

implementation 'com.databricks.databricks-connect:14.0.0'

Verbindungseigenschaften konfigurieren

Als Nächstes konfigurieren Sie Eigenschaften, um eine Verbindung zwischen Databricks Connect und Ihrem Azure Databricks-Remotecluster herzustellen. Diese Eigenschaften umfassen Einstellungen zum Authentifizieren von Databricks Connect bei Ihrem Cluster. Weitere Informationen finden Sie unter Computekonfiguration für Databricks Connect.

Für Databricks Connect für Databricks Runtime ab Version 13.3 LTS umfasst Databricks Connect das Databricks SDK für Java für Scala. Dieses SDK implementiert den Standard für die einheitliche Databricks-Clientauthentifizierung, einen konsolidierten und konsistenten architektonischen und programmgesteuerten Ansatz für die Authentifizierung. Dieser Ansatz gestaltet die Einrichtung und Automatisierung der Authentifizierung mit Azure Databricks zentralisierter und vorhersagbarer. Er ermöglicht Ihnen, die Azure Databricks-Authentifizierung einmal zu konfigurieren und diese Konfiguration dann für mehrere Azure Databricks-Tools und -SDKs ohne weitere Änderungen an der Authentifizierungskonfiguration zu verwenden.

Hinweis