Narzędzia usługi Databricks z usługą Databricks Connect dla języka Scala

Notatka

W tym artykule opisano usługę Databricks Connect dla środowiska Databricks Runtime 13.3 LTS lub nowszego.

W tym artykule opisano sposób używania programu Databricks Utilities z usługą Databricks Connect dla języka Scala. Usługa Databricks Connect umożliwia łączenie popularnych środowisk IDE, serwerów notesów i aplikacji niestandardowych z klastrami usługi Azure Databricks. Zobacz Co to jest usługa Databricks Connect?. Dla wersji artykułu w Pythonie, zobacz Databricks Utilities with Databricks Connect for Python.

Notatka

Przed rozpoczęciem korzystania z usługi Databricks Connect należy skonfigurować klienta usługi Databricks Connect.

Użyjesz usługi Databricks Connect, aby uzyskać dostęp do narzędzi usługi Databricks w następujący sposób:

• Użyj , aby uzyskać dostęp do systemu plików usługi Databricks (DBFS) i wpisów tajnych za pośrednictwem narzędzi usługi Databricks. DBUtils.getDBUtils należy do biblioteki Databricks Utilities for Scala.
• Dla projektów Scala nie są dostępne żadne funkcje narzędzi usługi Databricks inne niż poprzednie narzędzia.
• Program Databricks Connect dla języka Scala deklaruje już zależność od biblioteki Databricks Utilities for Scala, więc nie trzeba jawnie zadeklarować tej zależności w pliku kompilacji projektu Scala, takim jak build.sbt dla sbt, pom.xml dla narzędzia Maven lub build.gradle dla narzędzia Gradle.
• Uwierzytelnianie dla biblioteki Databricks Utilities dla Scala jest ustalane poprzez inicjalizację klasy DatabricksSession w projekcie Databricks Connect dla Scala.

Napiwek

Możesz również użyć zestawu SDK usługi Databricks dla języka Java ze środowiska Scala, aby uzyskać dostęp do dowolnego dostępnego interfejsu API REST usługi Databricks, a nie tylko poprzednich interfejsów API narzędzi usługi Databricks. Zobacz repozytorium databricks/databricks-sdk-java w usłudze GitHub, a także Użyj języka Scala z zestawem SDK Databricks dla języka Java.

W poniższym przykładzie pokazano, jak używać biblioteki Databricks Utilities for Scala do automatyzacji woluminu w Unity Catalog. W tym przykładzie tworzony jest plik o nazwie zzz_hello.txt w ścieżce woluminu w obszarze roboczym, odczytuje dane z pliku, a następnie usuwa plik.

import com.databricks.sdk.scala.dbutils.DBUtils

object Main {
  def main(args: Array[String]): Unit = {

    val filePath = "/Volumes/main/default/my-volume/zzz_hello.txt"
    val fileData = "Hello, Databricks!"
    val dbutils = DBUtils.getDBUtils()

    dbutils.fs.put(
      file = filePath,
      contents = fileData,
      overwrite = true
    )

    println(dbutils.fs.head(filePath))

    dbutils.fs.rm(filePath)
  }
}