Utilitários Databricks com Databricks Connect for Scala
Nota
Este artigo aborda o Databricks Connect for Databricks Runtime 13.3 LTS e superior.
Este artigo descreve como usar utilitários Databricks com Databricks Connect for Scala. O Databricks Connect permite conectar IDEs populares, servidores de notebook e aplicativos personalizados a clusters do Azure Databricks. Consulte O que é Databricks Connect?. Para a versão Python deste artigo, consulte Databricks Utilities with Databricks Connect for Python.
Nota
Antes de começar a usar o Databricks Connect, você deve configurar o cliente Databricks Connect.
Você usa o Databricks Connect para acessar os utilitários Databricks da seguinte maneira:
- Use
DBUtils.getDBUtils
para acessar o Sistema de Arquivos Databricks (DBFS) e segredos através de Utilitários Databricks.DBUtils.getDBUtils
pertence à biblioteca Databricks Utilities for Scala . - Nenhuma funcionalidade de utilitários Databricks além dos utilitários anteriores está disponível para projetos Scala.
- O Databricks Connect for Scala já declara uma dependência na biblioteca Databricks Utilities for Scala, portanto, você não precisa declarar explicitamente essa dependência no arquivo de compilação do seu projeto Scala, como
build.sbt
forsbt
, para Mavenpom.xml
oubuild.gradle
para Gradle. - A autenticação para a biblioteca Databricks Utilities for Scala é determinada através da inicialização da
DatabricksSession
classe em seu projeto Databricks Connect para Scala.
Gorjeta
Você também pode usar o SDK do Databricks para Java do Scala para acessar qualquer API REST do Databricks disponível, não apenas as APIs de utilitários Databricks anteriores. Veja o repositório databricks/databricks-sdk-java no GitHub e também Use o Scala com o Databricks SDK for Java.
O exemplo a seguir mostra como usar a biblioteca Databricks Utilities for Scala para automatizar um volume do Catálogo Unity. Este exemplo cria um arquivo nomeado zzz_hello.txt
no caminho do volume dentro do espaço de trabalho, lê os dados do arquivo e exclui o arquivo.
import com.databricks.sdk.scala.dbutils.DBUtils
object Main {
def main(args: Array[String]): Unit = {
val filePath = "/Volumes/main/default/my-volume/zzz_hello.txt"
val fileData = "Hello, Databricks!"
val dbutils = DBUtils.getDBUtils()
dbutils.fs.put(
file = filePath,
contents = fileData,
overwrite = true
)
println(dbutils.fs.head(filePath))
dbutils.fs.rm(filePath)
}
}