Compartir a través de

Utilidades de Databricks con Databricks Connect para Scala

  • Artículo

Nota

En este artículo se describe Databricks Connect para Databricks Runtime 13.3 LTS y versiones posteriores.

En este artículo se describe cómo usar Utilidades de Databricks con Databricks Connect para Scala. Databricks Connect permite conectar IDEs populares, servidores de notebooks y aplicaciones personalizadas a clústeres de Azure Databricks. Consulte ¿Qué es Databricks Connect?. Para obtener la versión en Python de este artículo, consulte utilidades de Databricks con Databricks Connect para Python.

Nota

Antes de empezar a usar Databricks Connect, es necesario configurar el cliente de Databricks Connect.

Use Databricks Connect para acceder a las utilidades de Databricks de la siguiente manera:

  • Use DBUtils.getDBUtils para acceder Databricks File System (DBFS) y a los secretos a través de Databricks Utilities. DBUtils.getDBUtils pertenece a la biblioteca de utilidades de Databricks para Scala.
  • No hay ninguna funcionalidad de utilidades de Databricks distinta de las utilidades anteriores disponibles para proyectos de Scala.
  • Databricks Connect para Scala ya declara una dependencia de las utilidades de Databricks para la biblioteca de Scala, por lo que no es necesario declarar explícitamente esta dependencia en el archivo de compilación del proyecto de Scala, como build.sbt para sbt, pom.xml para Maven o build.gradle para Gradle.
  • La autenticación de las utilidades de Databricks para la biblioteca de Scala se determina mediante la inicialización de la clase DatabricksSession en el proyecto de Databricks Connect para Scala.

Sugerencia

También puede usar el SDK de Databricks para Java desde Scala para acceder a cualquier API REST de Databricks disponible, no solo a las API de utilidades de Databricks anteriores. Consulte el repositorio databricks/databricks-sdk-java en GitHub y use Scala con el SDK de Databricks para Java.

En el ejemplo siguiente se muestra cómo usar las utilidades de Databricks para la biblioteca de Scala para automatizar un volumen de Catálogo de Unity. En este ejemplo se crea un archivo denominado zzz_hello.txt en la ruta de acceso del volumen dentro del área de trabajo, se leen los datos del archivo y, a continuación, se elimina el archivo.

import com.databricks.sdk.scala.dbutils.DBUtils

object Main {
  def main(args: Array[String]): Unit = {

    val filePath = "/Volumes/main/default/my-volume/zzz_hello.txt"
    val fileData = "Hello, Databricks!"
    val dbutils = DBUtils.getDBUtils()

    dbutils.fs.put(
      file = filePath,
      contents = fileData,
      overwrite = true
    )

    println(dbutils.fs.head(filePath))

    dbutils.fs.rm(filePath)
  }
}