Delen via

Databricks Connect installeren voor Scala

  • Artikel

Notitie

Dit artikel bevat informatie over Databricks Connect voor Databricks Runtime 13.3 LTS en hoger.

In dit artikel wordt beschreven hoe u Databricks Connect voor Scala installeert. Zie Wat is Databricks Connect? Zie Databricks Connect voor Python installeren voor de Python-versie van dit artikel.

Vereisten

  • Uw Azure Databricks-doelwerkruimte en -cluster moeten voldoen aan de vereisten voor de compute-configuratie voor Databricks Connect.
  • De Java Development Kit (JDK) is geïnstalleerd op uw ontwikkelcomputer. Databricks raadt aan dat de versie van uw JDK-installatie die u gebruikt overeenkomt met de JDK-versie in uw Azure Databricks-cluster. Als u de JDK-versie in uw cluster wilt vinden, raadpleegt u de sectie Systeemomgeving van de releaseopmerkingen van Databricks Runtime voor uw cluster. Komt bijvoorbeeld Zulu 8.70.0.23-CA-linux64 overeen met JDK 8. Zie de releaseversies en compatibiliteit van Databricks Runtime.
  • Scala is geïnstalleerd op uw ontwikkelcomputer. Databricks raadt aan dat de versie van uw Scala-installatie overeenkomt met de Scala-versie in uw Azure Databricks-cluster. Als u de Scala-versie van de Databricks Runtime-versie van uw cluster wilt vinden, raadpleegt u de sectie Systeemomgeving van de releaseopmerkingen van Databricks Runtime voor die versie. Zie de releaseversies en compatibiliteit van Databricks Runtime.
  • Als u door de gebruiker gedefinieerde functies (UDF's) gebruikt, moeten de lokale Scala- en Java-versies overeenkomen met de Scala- en Java-versies van de Databricks Runtime-versie van het cluster. Als u de Scala- en Java-versies van de Databricks Runtime-versie van uw cluster wilt vinden, raadpleegt u de sectie Systeemomgeving van de releaseopmerkingen van Databricks Runtime voor die versie. Zie de releaseversies en compatibiliteit van Databricks Runtime.
  • Een Scala-buildhulpprogramma op uw ontwikkelcomputer, zoals sbt.

Een verwijzing toevoegen naar de Databricks Connect-client

Als u de Databricks Connect-client wilt set, voegt u eerst een verwijzing naar de client toe. Voeg in het buildbestand van uw Scala-project, zoals build.sbt voor sbt, pom.xml voor Maven of build.gradle voor Gradle, de volgende verwijzing toe aan de Databricks Connect-client. Vervang 14.0.0 door de versie van de Databricks Connect-bibliotheek die overeenkomt met de Databricks Runtime-versie in uw cluster. U vindt de versienummers van de Databricks Connect-bibliotheek in de centrale Maven-opslagplaats.

Sbt

libraryDependencies += "com.databricks" % "databricks-connect" % "14.0.0"

Maven

<dependency>
  <groupId>com.databricks</groupId>
  <artifactId>databricks-connect</artifactId>
  <version>14.0.0</version>
</dependency>

Gradle

implementation 'com.databricks.databricks-connect:14.0.0'

Verbindingseigenschappen configureren

Configureer vervolgens eigenschappen om een verbinding tot stand te brengen tussen Databricks Connect en uw externe Azure Databricks-cluster. Deze eigenschappen omvatten instellingen voor het verifiëren van Databricks Connect met uw cluster. Zie de compute-configuratie voor Databricks Connect.

Voor Databricks Connect voor Databricks Runtime 13.3 LTS en hoger bevat Databricks Connect voor Scala de Databricks SDK voor Java. Deze SDK implementeert de geïntegreerde verificatiestandaard van de Databricks-client, een geconsolideerde en consistente architectuur en programmatische benadering van verificatie. Deze aanpak maakt het instellen en automatiseren van verificatie met Azure Databricks gecentraliseerder en voorspelbaarder. Hiermee kunt u Azure Databricks-verificatie eenmaal configureren en deze configuratie vervolgens gebruiken in meerdere Azure Databricks-hulpprogramma's en SDK's zonder verdere configuratiewijzigingen voor verificatie.

Notitie