Compartilhar via

Utilitários Databricks com o Databricks Connect para Scala

  • Artigo

Nota

Este artigo aborda o Databricks Connect para Databricks Runtime 13.3 LTS e superior.

Este artigo descreve como usar Databricks Utilities com Databricks Connect para Scala. O Databricks Connect permite que você conecte IDEs populares, servidores de notebook e aplicativos personalizados a clusters do Azure Databricks. Veja O que é Databricks Connect?. Para obter a versão deste artigo para Python, confira Utilitários Databricks com o Databricks Connect para Python.

Nota

Antes de começar a usar o Databricks Connect, você deve configurar o cliente do Databricks Connect.

Use o Databricks Connect para acessar os Utilitários do Databricks da seguinte maneira:

  • Use DBUtils.getDBUtils para acessar o DBFS (Sistema de Arquivos do Databricks) e os segredos por meio dos Utilitários do Databricks. DBUtils.getDBUtils pertence à biblioteca Databricks Utilities for Scala.
  • Nenhuma funcionalidade de Utilitários do Databricks diferente dos utilitários anteriores está disponível para projetos do Scala.
  • O Databricks Connect para Scala já declara uma dependência na biblioteca Databricks Utilities for Scala, portanto, você não precisa declarar explicitamente essa dependência no arquivo de build do projeto Scala, como build.sbt para sbt, pom.xml para Maven ou build.gradle para Gradle.
  • A autenticação para a biblioteca Databricks Utilities for Scala é determinada por meio da inicialização da classe DatabricksSession em seu projeto do Databricks Connect para Scala.

Dica

Você também pode usar o SDK do Databricks para Java do Scala para acessar qualquer API REST do Databricks disponível, não apenas as APIs de Utilitários do Databricks anteriores. Consulte o repositório databricks/databricks-sdk-java no GitHub e Usar o Scala com o SDK do Databricks para Java.

O exemplo a seguir mostra como usar a biblioteca Databricks Utilities for Scala para automatizar um volume do Catálogo do Unity. Este exemplo cria um arquivo chamado zzz_hello.txt no caminho do volume dentro do workspace, lê os dados do arquivo e exclui o arquivo.

import com.databricks.sdk.scala.dbutils.DBUtils

object Main {
  def main(args: Array[String]): Unit = {

    val filePath = "/Volumes/main/default/my-volume/zzz_hello.txt"
    val fileData = "Hello, Databricks!"
    val dbutils = DBUtils.getDBUtils()

    dbutils.fs.put(
      file = filePath,
      contents = fileData,
      overwrite = true
    )

    println(dbutils.fs.head(filePath))

    dbutils.fs.rm(filePath)
  }
}