Databricks Connect for Scala와 함께 사용하는 Databricks 유틸리티

메모

이 문서에서는 Databricks Runtime 13.3 LTS 이상에 대한 Databricks Connect에 대해 설명합니다.

이 문서에서는 Databricks Connect for Scala에서 Databricks 유틸리티 사용하는 방법을 설명합니다. Databricks Connect를 사용하면 인기 있는 IDE, Notebook 서버 및 사용자 지정 애플리케이션을 Azure Databricks 클러스터에 연결할 수 있습니다. Databricks Connect란?. 이 문서의 Python 버전을 보려면 Python용 Databricks Connect에서 Databricks 유틸리티를 참조하세요.

메모

Databricks Connect 사용을 시작하기 전에 Databricks Connect 클라이언트설정해야 합니다.

Databricks Connect를 사용하여 다음과 같이 Databricks 유틸리티에 액세스합니다.

• 사용하여 Databricks 유틸리티를 통해 DBFS(Databricks 파일 시스템) 액세스하고 비밀 . DBUtils.getDBUtils Databricks Utilities for Scala 라이브러리에 속합니다.
• 이전 유틸리티 이외의 Databricks 유틸리티 기능은 Scala 프로젝트에 사용할 수 없습니다.
• Scala용 Databricks Connect는 이미 Scala용 Databricks 유틸리티 라이브러리에 대한 종속성을 선언하므로, build.sbt에서는 sbt, Maven에서는 pom.xml, Gradle에서는 build.gradle을 사용하는 Scala 프로젝트의 빌드 파일에 이 종속성을 명시적으로 선언할 필요가 없습니다.
• Scala용 Databricks 유틸리티 라이브러리에 대한 인증은 Scala용 Databricks Connect 프로젝트에서 DatabricksSession 클래스를 초기화하여 결정됩니다.

팁

Scala의 Java용 Databricks SDK를 사용하여 이전 Databricks 유틸리티 API뿐만 아니라 사용 가능한 모든 Databricks REST API에 액세스할 수도 있습니다. GitHub의 databricks/databricks-sdk-java 자바 리포지토리를 참조하고, Databricks SDK를 사용하여 Scala와 함께사용할 수 있습니다.

다음 예제에서는 Databricks Utilities for Scala 라이브러리를 사용하여 Unity 카탈로그 볼륨을 자동화하는 방법을 보여 줍니다. 다음은 작업 영역 내의 볼륨 경로에 zzz_hello.txt 파일을 만들고 파일에서 데이터를 읽은 다음 파일을 삭제하는 예제입니다.

import com.databricks.sdk.scala.dbutils.DBUtils

object Main {
  def main(args: Array[String]): Unit = {

    val filePath = "/Volumes/main/default/my-volume/zzz_hello.txt"
    val fileData = "Hello, Databricks!"
    val dbutils = DBUtils.getDBUtils()

    dbutils.fs.put(
      file = filePath,
      contents = fileData,
      overwrite = true
    )

    println(dbutils.fs.head(filePath))

    dbutils.fs.rm(filePath)
  }
}