Compartir vía

Migración a Databricks Connect para Scala

  • Artículo

Nota

Databricks Connect para Databricks Runtime 13.3 LTS y versiones posteriores para Scala está en versión preliminar pública.

En este artículo se describe cómo migrar de Databricks Connect para Databricks Runtime 12.2 LTS y versiones posteriores a Databricks Connect para Databricks Runtime 13.3 LTS y versiones posteriores para Scala. Databricks Connect permite conectar entornos de desarrollo integrados (IDEs), servidores de notebooks y aplicaciones personalizadas a clústeres de Azure Databricks. Consulte ¿Qué es Databricks Connect? Para la versión en Python de este artículo, consulte Migrar a Databricks Connect para Python.

Nota

Antes de empezar a usar Databricks Connect, es necesario configurar el cliente de Databricks Connect.

  1. Instale la versión correcta del Kit de desarrollo de Java (JDK) y Scala como se muestra en los requisitos de instalación para que coincidan con el clúster de Azure Databricks, si aún no está instalado localmente.

  2. En el archivo de compilación del proyecto de Scala, como build.sbt para sbt, pom.xml para Maven o build.gradle para Gradle, actualice la siguiente referencia al cliente de Databricks Connect:

    Sbt

    libraryDependencies += "com.databricks" % "databricks-connect" % "14.0.0"

    Maven

    <dependency>
  <groupId>com.databricks</groupId>
  <artifactId>databricks-connect</artifactId>
  <version>14.0.0</version>
</dependency>

    Gradle

    implementation 'com.databricks.databricks-connect:14.0.0'

    Reemplace 14.0.0 por la versión de la biblioteca de Databricks Connect que coincida con la versión de Databricks Runtime en el clúster. Puede encontrar los números de versión de la biblioteca de Databricks Connect en el repositorio central de Maven.

  3. Actualice el código de Scala para inicializar la variable spark (que representa una creación de instancias de la clase DatabricksSession, similar a SparkSession en Spark). Para ejemplos de código, consulte Ejemplos de código de Databricks Connect para Scala.