Delen via

Databricks Connect installeren voor Scala

  • Artikel

Notitie

Dit artikel bevat informatie over Databricks Connect voor Databricks Runtime 13.3 LTS en hoger.

In dit artikel wordt beschreven hoe u Databricks Connect voor Scala installeert. Zie Wat is Databricks Connect? Zie Databricks Connect voor Python installeren voor de Python-versie van dit artikel.

Vereisten

  • Uw Azure Databricks-doelwerkruimte en -cluster moeten voldoen aan de vereisten voor de compute-configuratie voor Databricks Connect.

  • U hebt de Java Development Kit (JDK) geïnstalleerd op uw ontwikkelcomputer. Databricks raadt aan dat de versie van uw JDK-installatie overeenkomt met de JDK-versie in uw Azure Databricks-cluster. Als u de JDK-versie van de Databricks Runtime op uw cluster wilt vinden, raadpleegt u de sectie System-omgeving van de releaseopmerkingen van Databricks Runtime of de versiecompatibiliteitstabel.

    Notitie

    Als u een JDK-installatie kiest die lager of hoger is dan de JDK-versie op uw cluster, kan dit onverwachte resultaten opleveren of wordt uw code helemaal niet uitgevoerd.

  • Scala is geïnstalleerd op uw ontwikkelcomputer. Databricks raadt aan dat de versie van uw Scala-installatie overeenkomt met de Scala-versie in uw Azure Databricks-cluster. Als u de Scala-versie van de Databricks Runtime-versie van uw cluster wilt vinden, raadpleegt u de sectie Systeemomgeving van de releaseopmerkingen van Databricks Runtime of de -versiecompatibiliteitstabel.

  • Als u door de gebruiker gedefinieerde functies (UDF's) gebruikt, moeten de lokale Scala- en Java-versies overeenkomen met de Scala- en Java-versies van de Databricks Runtime-versie van het cluster. Als u de Scala- en Java-versies van de Databricks Runtime-versie van uw cluster wilt vinden, raadpleegt u de sectie System-omgeving van de releaseopmerkingen van Databricks Runtime of de versiecompatibiliteitstabel.

  • Een Scala-buildhulpprogramma op uw ontwikkelcomputer, zoals sbt.

ondersteuningsmatrix voor -versie

In de volgende tabel ziet u compatibele versies van Databricks Connect, JDK en Scala. Databricks Connect-versienummers komen overeen met databricks Runtime-versienummers.

Rekentype Databricks Connect-versie JDK-versie Scala-versie
Cluster 16.0 en hoger

16.0 ML en hoger		 JDK 17 2.12.18
Cluster 15.4 LTS

15.4 ML LTS		 JDK 8 2.12.18
Cluster 13.3 LTS tot 14.3 LTS

13.3 ML LTS tot 14.3 ML LTS		 JDK 8 2.12.15

Een verwijzing toevoegen naar de Databricks Connect-client

Als u de Databricks Connect-client wilt instellen, voegt u eerst een verwijzing naar de client toe. Voeg in het buildbestand van uw Scala-project, zoals build.sbt voor sbt, pom.xml voor Maven of build.gradle voor Gradle, de volgende verwijzing toe aan de Databricks Connect-client. Vervang 14.0.0 door de versie van de Databricks Connect-bibliotheek die overeenkomt met de Databricks Runtime-versie in uw cluster. U vindt de versienummers van de Databricks Connect-bibliotheek in de centrale Maven-opslagplaats.

Sbt

libraryDependencies += "com.databricks" % "databricks-connect" % "14.0.0"

Maven

<dependency>
  <groupId>com.databricks</groupId>
  <artifactId>databricks-connect</artifactId>
  <version>14.0.0</version>
</dependency>

Gradle

implementation 'com.databricks.databricks-connect:14.0.0'

Verbindingseigenschappen configureren

Configureer vervolgens eigenschappen om een verbinding tot stand te brengen tussen Databricks Connect en uw externe Azure Databricks-cluster. Deze eigenschappen omvatten instellingen voor het verifiëren van Databricks Connect met uw cluster. Zie de compute-configuratie voor Databricks Connect.

Voor Databricks Connect voor Databricks Runtime 13.3 LTS en hoger bevat Databricks Connect voor Scala de Databricks SDK voor Java. Deze SDK implementeert de geïntegreerde verificatiestandaard van de Databricks-client, een geconsolideerde en consistente architectuur en programmatische benadering van verificatie. Deze aanpak maakt het instellen en automatiseren van verificatie met Azure Databricks gecentraliseerder en voorspelbaarder. Hiermee kunt u Azure Databricks-verificatie eenmaal configureren en deze configuratie vervolgens gebruiken in meerdere Azure Databricks-hulpprogramma's en SDK's zonder verdere configuratiewijzigingen voor verificatie.

Notitie