Utilidades Databricks con Databricks Connect para Scala

Nota:

Este artículo describe Databricks Connect para Databricks Runtime 13.3 LTS y versiones posteriores.

En este artículo se describe cómo usar Utilidades de Databricks con Databricks Connect para Scala. Databricks Connect le habilita para conectar los IDE populares, servidores de cuadernos y aplicaciones personalizadas a los clústeres de Azure Databricks. Consulte ¿Qué es Databricks Connect?. Para obtener la versión en Python de este artículo, consulte utilidades de Databricks con Databricks Connect para Python.

Nota:

Antes de empezar a usar Databricks Connect, debeconfigurar el cliente de Databricks Connect.

Use Databricks Connect para acceder a utilidades de Databricks de la siguiente manera:

• Use DBUtils.getDBUtils para acceder Databricks File System (DBFS) y a los secretos a través de Databricks Utilities. DBUtils.getDBUtils pertenece a la biblioteca Databricks Utilities para Scala.
• No hay ninguna funcionalidad de Databricks Utilities distinta de las utilidades anteriores disponibles para proyectos de Scala.
• Databricks Connect para Scala ya declara una dependencia de las utilidades de Databricks para la biblioteca de Scala, por lo que no es necesario declarar explícitamente esta dependencia en el archivo de compilación del proyecto de Scala, como build.sbt para sbt, pom.xml para Maven o build.gradle para Gradle.
• La autenticación de las utilidades de Databricks para la biblioteca de Scala se determina mediante la inicialización de la clase DatabricksSession en el proyecto de Databricks Connect para Scala.

Sugerencia

También puede usar el SDK de Databricks para Java desde Scala para acceder a cualquier API REST de Databricks disponible, no solo a las API de Databricks Utilities anteriores. Consulte el repositorio databricks/databricks-sdk-java en GitHub y use Scala con el SDK de Databricks para Java.

En el ejemplo siguiente se muestra cómo usar las utilidades de Databricks para la biblioteca de Scala para automatizar un volumen de catálogo de unidad. En este ejemplo se crea un nombre de archivo zzz_hello.txt en la ruta de acceso del volumen dentro del área de trabajo, se leen los datos del archivo y, a continuación, se elimina el archivo.

import com.databricks.sdk.scala.dbutils.DBUtils

object Main {
  def main(args: Array[String]): Unit = {

    val filePath = "/Volumes/main/default/my-volume/zzz_hello.txt"
    val fileData = "Hello, Databricks!"
    val dbutils = DBUtils.getDBUtils()

    dbutils.fs.put(
      file = filePath,
      contents = fileData,
      overwrite = true
    )

    println(dbutils.fs.head(filePath))

    dbutils.fs.rm(filePath)
  }
}