Sdílet prostřednictvím

Pomocné nástroje Databricks s Databricks Connect pro Scala

  • Článek

Poznámka

Tento článek popisuje Databricks Connect pro Databricks Runtime 13.3 LTS a novější.

Tento článek popisuje, jak používat nástroje Databricks s Databricks Connect pro Scala. Databricks Connect umožňuje připojení oblíbených vývojových prostředí (IDE), serverů pro poznámkové bloky a vlastních aplikací ke clusterům Azure Databricks. Prohlédněte si Co je Databricks Connect?. Informace o verzi Pythonu tohoto článku najdete v části Nástroje Databricks s Databricks Connect pro Python.

Poznámka

Než začnete používat Databricks Connect, musíte set klienta Databricks Connect.

Databricks Connect používáte pro přístup k nástrojům Databricks následujícím způsobem:

  • Pomocí DBUtils.getDBUtils můžete získat přístup k systému souborů Databricks (DBFS) a tajemstvím pomocí nástrojů Databricks. DBUtils.getDBUtils patří do knihovny Databricks Utilities for Scala.
  • Pro projekty Scala nejsou k dispozici žádné funkce nástrojů Databricks jiné než předchozí nástroje.
  • Databricks Connect pro Scala už deklaruje závislost na knihovně Databricks Utilities for Scala, takže tuto závislost nemusíte explicitně deklarovat v souboru sestavení projektu Scala, jako je build.sbt pro sbt, pom.xml pro Maven nebo build.gradle pro Gradle.
  • Ověřování pro knihovnu Databricks Utilities for Scala se určuje inicializací třídy DatabricksSession v projektu Databricks Connect pro Scala.

Spropitné

Databricks SDK pro Java můžete také použít ze Scaly k přístupu k libovolnému dostupnému rozhraní REST API Databricks, nejen k jmenovaným rozhraním API pro nástroje Databricks. Podívejte se na úložiště databricks/databricks-sdk-java na GitHubu a také použijte Scalu se sadou Databricks SDK pro Javu.

Následující příklad ukazuje, jak pomocí nástrojů Databricks pro knihovnu Scala automatizovat svazek Unity Catalog. Tento příklad vytvoří soubor s názvem zzz_hello.txt v cestě svazku v pracovním prostoru, přečte data ze souboru a poté odstraní soubor.

import com.databricks.sdk.scala.dbutils.DBUtils

object Main {
  def main(args: Array[String]): Unit = {

    val filePath = "/Volumes/main/default/my-volume/zzz_hello.txt"
    val fileData = "Hello, Databricks!"
    val dbutils = DBUtils.getDBUtils()

    dbutils.fs.put(
      file = filePath,
      contents = fileData,
      overwrite = true
    )

    println(dbutils.fs.head(filePath))

    dbutils.fs.rm(filePath)
  }
}