Databricks Utilities with Databricks Connect for Scala
注意
本文涵蓋適用於 Databricks Runtime 13.3 LTS 和更新版本的 Databricks Connect。
本文說明如何搭配 Databricks Connect for Scala 使用 Databricks Utilities。 Databricks Connect 可讓您將熱門的 IDE、Notebook 伺服器和自定義應用程式連線到 Azure Databricks 叢集。 請參閱 什麼是 Databricks Connect?。 如需本文的 Python 版本,請參閱 Databricks Utilities with Databricks Connect for Python。
注意
開始使用 Databricks Connect 之前,您必須先 設定 Databricks Connect 用戶端。
您可以使用 Databricks Connect 來存取 Databricks 公用程式,如下所示:
- 使用
DBUtils.getDBUtils
透過 Databricks 實用工具存取 Databricks 檔案系統(DBFS) 和 機密資訊。DBUtils.getDBUtils
屬於 Databricks 公用程式適用於 Scala 的程式庫。 - 除了上述公用程式以外,沒有 Databricks 公用程式功能可供 Scala 專案使用。
- Databricks Connect for Scala 已經宣告對 Databricks Utilities for Scala 連結庫的相依性,因此您不需要在 Scala 專案的組建檔案中明確宣告此相依性,例如適用於
build.sbt
的sbt
、適用於 Maven 的pom.xml
或 Gradle 的build.gradle
。 - 針對適用於 Scala 的 Databricks 公用程式連結庫進行驗證,是透過初始化適用於 Scala 的 Databricks Connect 專案中的
DatabricksSession
類別來決定。
提示
您也可以使用來自 Scala 的 Databricks SDK for Java 來存取任何可用的 Databricks REST API,而不只是上述 Databricks 公用程式 API。 請參閱 GitHub 中的 databricks/databricks-sdk-java 存放庫,並 搭配 Databricks SDK for Java使用 Scala。
下列範例示範如何使用 Databricks Utilities for Scala 連結庫將 Unity 目錄磁碟區自動化。 此範例會在工作區內的磁碟區路徑中建立名為 zzz_hello.txt
的檔案、從檔案讀取數據,然後刪除檔案。
import com.databricks.sdk.scala.dbutils.DBUtils
object Main {
def main(args: Array[String]): Unit = {
val filePath = "/Volumes/main/default/my-volume/zzz_hello.txt"
val fileData = "Hello, Databricks!"
val dbutils = DBUtils.getDBUtils()
dbutils.fs.put(
file = filePath,
contents = fileData,
overwrite = true
)
println(dbutils.fs.head(filePath))
dbutils.fs.rm(filePath)
}
}