Partager via

Installer Databricks Connect pour Scala

  • Article

Remarque

Cet article présente Databricks Connect pour Databricks Runtime 13.3 LTS et les versions ultérieures.

Cet article explique comment installer Databricks Connect pour Scala. Consultez Qu’est-ce que Databricks Connect ?. Pour accéder à la version Python de cet article, consultez Installer Databricks Connect pour Python.

Spécifications

  • Votre espace de travail et cluster Azure Databricks cible doivent répondre aux exigences de configuration de calcul pour Databricks Connect.
  • JDK (Java Development Kit) doit être installé sur votre machine de développement. Databricks recommande que la version de l’installation de JDK que vous utilisez corresponde à la version de JDK sur votre cluster Azure Databricks. Pour trouver la version du JDK de votre cluster, consultez la section « Environnement système » des notes de publication de Databricks Runtime pour votre cluster. Par exemple, Zulu 8.70.0.23-CA-linux64 correspond à JDK 8. Consultez Notes de publication, versions et compatibilité de Databricks Runtime.
  • Scala doit être installé sur votre machine de développement. Databricks recommande que la version de votre installation Scala corresponde à la version Scala sur votre cluster Azure Databricks. Pour trouver la version Scala de la version Databricks Runtime de votre cluster, reportez-vous à la section environnement système des notes de publication databricks Runtime pour cette version. Consultez Notes de publication, versions et compatibilité de Databricks Runtime.
  • Si vous utilisez des fonctions définies par l’utilisateur (UDF), les versions Scala et Java locales doivent correspondre aux versions Scala et Java de la version Databricks Runtime du cluster. Pour rechercher les versions Scala et Java de la version Databricks Runtime de votre cluster, reportez-vous à la section environnement système des notes de publication databricks Runtime pour cette version. Consultez Notes de publication, versions et compatibilité de Databricks Runtime.
  • Un outil de build Scala sur votre machine de développement, par exemple sbt.

Ajouter une référence au client Databricks Connect

Pour configurer le client Databricks Connect, commencez par ajouter une référence au client. Dans le fichier de build de votre projet Scala tel que build.sbt , sbt pour pom.xmlMaven ou build.gradle Gradle, ajoutez la référence suivante au client Databricks Connect. Remplacez 14.0.0 par la version de la bibliothèque Databricks Connect qui correspond à la version de Databricks Runtime sur votre cluster. Vous trouverez les numéros de version de la bibliothèque Databricks Connect dans le dépôt central Maven.

Sbt

libraryDependencies += "com.databricks" % "databricks-connect" % "14.0.0"

Maven

<dependency>
  <groupId>com.databricks</groupId>
  <artifactId>databricks-connect</artifactId>
  <version>14.0.0</version>
</dependency>

Gradle

implementation 'com.databricks.databricks-connect:14.0.0'

Configurer les propriétés de connexion

Ensuite, configurez les propriétés pour établir une connexion entre Databricks Connect et votre cluster Azure Databricks distant. Ces propriétés comprennent des paramètres permettant d’authentifier Databricks Connect avec votre cluster. Consultez la configuration de calcul pour Databricks Connect.

À partir de Databricks Connect pour Databricks Runtime 13.3 LTS et versions ultérieures, pour Scala, Databricks Connect inclut le kit SDK Databricks pour Java. Ce SDK implémente la norme d’authentification unifiée du client Databricks, une approche architecturale et programmatique consolidée et cohérente pour l’authentification. Cette approche permet de configurer et d’automatiser l’authentification avec Azure Databricks de façon plus centralisée et prévisible. Elle vous permet de configurer une seule fois l’authentification Azure Databricks, puis d’utiliser cette configuration sur plusieurs outils Azure Databricks et SDK sans modifier à nouveau la configuration de l’authentification.

Remarque