Compartir a través de

Instalar Databricks Connect para Scala

  • Artículo

Nota:

Este artículo describe Databricks Connect para Databricks Runtime 13.3 LTS y versiones posteriores.

En este artículo se describe cómo instalar Databricks Connect para Scala. Consulte ¿Qué es Databricks Connect?. Para obtener la versión de Python de este artículo, consulte Instalar Databricks Connect para Python.

Requisitos

  • El área de trabajo y el clúster de Azure Databricks de destino deben cumplir los requisitos de configuración de proceso para Databricks Connect.
  • El Kit de desarrollo de Java (JDK) instalado en la máquina de desarrollo. Databricks recomienda que la versión de la instalación de JDK que use coincida con la versión de JDK del clúster de Azure Databricks. Para buscar la versión de JDK en el clúster, consulte la sección "Entorno del sistema" de las notas de la versión de Databricks Runtime para el clúster. Por ejemplo, Zulu 8.70.0.23-CA-linux64 corresponde a JDK 8. Ver las notas de la versión de Databricks Runtime versiones y compatibilidad.
  • Scala instalado en el equipo de desarrollo. Databricks recomienda que la versión de la instalación de Scala que use coincida con la versión de Scala en el clúster de Azure Databricks. Para buscar la versión de Scala en el clúster, consulte la sección "Entorno del sistema" de las notas de la versión de Databricks Runtime para el clúster. Ver las notas de la versión de Databricks Runtime versiones y compatibilidad.
  • Una herramienta de compilación de Scala en la máquina de desarrollo, como sbt.

Adición de una referencia al cliente de Databricks Connect

Para configurar el cliente de Databricks Connect, agregue primero una referencia al cliente. En el archivo de compilación del proyecto de Scala, como build.sbt para sbt, pom.xml para Maven o build.gradle para Gradle, agregue la siguiente referencia al cliente de Databricks Connect. Reemplace 14.0.0 por la versión de la biblioteca de Databricks Connect que coincida con la versión de Databricks Runtime en el clúster. Puede encontrar los números de versión de la biblioteca de Databricks Connect en el repositorio central de Maven.

Sbt

libraryDependencies += "com.databricks" % "databricks-connect" % "14.0.0"

Maven

<dependency>
  <groupId>com.databricks</groupId>
  <artifactId>databricks-connect</artifactId>
  <version>14.0.0</version>
</dependency>

Gradle

implementation 'com.databricks.databricks-connect:14.0.0'

Configurar propiedades de conexión

A continuación, configure las propiedades para establecer una conexión entre Databricks Connect y el clúster remoto de Azure Databricks. Estas propiedades incluyen la configuración para autenticar Databricks Connect con el clúster. Consulte Configuración de proceso para Databricks Connect.

Para Databricks Connect para Databricks Runtime 13.3 LTS y versiones posteriores, para Scala, Databricks Connect incluye el SDK de Databricks para Java. Este SDK implementa el estándar de autenticación unificada del cliente de Databricks, un enfoque arquitectónico y programático consolidado y coherente para la autenticación. Este enfoque configura y automatiza la autenticación con Azure Databricks de manera más centralizada y predecible. Permite configurar la autenticación de Azure Databricks una vez y, a continuación, usar esa configuración en varias herramientas y SDK de Azure Databricks sin cambios adicionales en la configuración de autenticación.

Nota: