Databricks 유틸리티(`dbutils`) 참고자료

아티클
12/31/2024

이 문서에는 Databricks 유틸리티(dbutils)에 대한 참조가 포함되어 있습니다. 유틸리티는 노트북에서 Databricks 환경과 함께 작업할 수 있는 명령을 제공합니다. 예를 들어 파일 및 개체 스토리지를 관리하고 비밀로 작업할 수 있습니다. dbutils는 Python, R 및 Scala 노트북에서 사용할 수 있습니다.

참고 항목

dbutils 는 DBFS를 사용하는 컴퓨팅 환경만 지원합니다.

유틸리티 모듈

다음 table을(를) 사용하여 검색할 수 있는 Databricks 유틸리티 모듈을 dbutils.help()에 나열합니다.

모듈	묘사
데이터	데이터 세트 이해 및 상호 작용을 위한 유틸리티(실험적)
fs	DBFS(Databricks 파일 시스템)에 액세스하기 위한 유틸리티
작업	작업 기능을 활용하기 위한 유틸리티
라이브러리	더 이상 사용되지 않음. 세션 범위 라이브러리를 관리하기 위한 유틸리티
노트북	노트북의 제어 흐름을 관리하기 위한 유틸리티 (실험적)
비밀	Notebook 내에서 비밀을 활용하기 위한 유틸리티
위젯	노트북을 매개변수화하기 위한 유틸리티입니다.
api	애플리케이션 빌드를 관리하기 위한 유틸리티

명령어 도움말

유틸리티 모듈에 대한 명령과 각 명령의 간단한 설명을 추가하려면 유틸리티 모듈 이름 뒤에 list.help()을 첨부하십시오. 다음 예제에서는 Notebook 유틸리티에 사용할 수 있는 명령을 나열합니다.

dbutils.notebook.help()

The notebook module.

exit(value: String): void -> This method lets you exit a notebook with a value
run(path: String, timeoutSeconds: int, arguments: Map): String -> This method runs a notebook and returns its exit value

명령에 대한 도움말을 출력하려면 dbutils.<utility-name>.help("<command-name>")실행합니다. 다음의 예제는 파일 시스템 유틸리티 복사 명령에 대한 도움말을 표시합니다: dbutils.fs.cp.

dbutils.fs.help("cp")

/**
* Copies a file or directory, possibly across FileSystems.
*
* Example: cp("/mnt/my-folder/a", "dbfs:/a/b")
*
* @param from FileSystem URI of the source file or directory
* @param to FileSystem URI of the destination file or directory
* @param recurse if true, all files and directories will be recursively copied
* @return true if all files were successfully copied
*/
cp(from: java.lang.String, to: java.lang.String, recurse: boolean = false): boolean

데이터 유틸리티(dbutils.data)

Important

이 기능은 공개 미리 보기 상태입니다.

참고 항목

Databricks Runtime 9.0 이상에서 사용할 수 있습니다.

데이터 유틸리티를 사용하면 데이터 세트를 이해하고 상호 작용할 수 있습니다.

이 유틸리티에서 사용할 수 있는 명령은 다음 table에 나열되어 있으며, 이를 dbutils.data.help()을 사용하여 검색할 수 있습니다.

명령	묘사
요약	Spark DataFrame을 요약하고 통계를 시각화하여 빠른 인사이트를 get

summarize 명령(dbutils.data.summarize)

참고 항목

이 기능은 공개 미리 보기 상태입니다.

summarize(df: Object, precise: boolean): void

Apache Spark DataFrame 또는 pandas DataFrame의 요약 통계를 계산하고 표시합니다. 이 명령은 Python, Scala 및 R에서 사용할 수 있습니다.

Important

이 명령은 DataFrame의 전체 콘텐츠를 분석합니다. 매우 큰 DataFrame에 대해 이 명령을 실행하면 비용이 많이 들 수 있습니다.

이 명령에 대한 전체 도움말을 표시하려면 다음을 실행합니다.

dbutils.data.help("summarize")

Databricks Runtime 10.4 LTS 이상에서는, precise 매개 변수를 추가로 사용하여 계산된 통계의 정밀도를 조정할 수 있습니다.

precise이 기본값인 false로 set 경우, 일부 반환된 통계에는 런타임을 줄이기 위한 근사값이 포함됩니다.
- 범주 values 대한 고유 columns 수는 카디널리티가 높은 columns대해 최대 5개% 상대 오차가 있을 수 있습니다.
- 고유 values 수가 10000보다 클 경우, 값의 빈도 수는 최대 0.01%의 오류가 발생할 수 있습니다.
- 히스토그램 및 백분위수 추정치에는 총 행 수에 비해 최대 0.01%의 오차가 있을 수 있습니다.
precise true로 set 통계는 더 높은 정밀도로 계산됩니다. 이제 숫자 columns 히스토그램 및 백분위수만을 제외한 모든 통계가 정확합니다.
- 히스토그램 및 백분위수 추정치는 총 행 수에 비해 최대 0.0001%의 오류가 있을 수 있습니다.

데이터 요약 출력의 맨 위에 있는 도구 설명은 현재 실행의 모드를 나타냅니다.

본보기

다음 예제에서는 기본적으로 사용하도록 설정된 근사값과 함께 Apache Spark DataFrame에 대한 요약 통계를 표시합니다. 결과를 보려면 Notebook에서 이 명령을 실행합니다. 이 예제는 샘플 데이터 세트를 기반으로 합니다.

Python

df = spark.read.format('csv').load(
  '/databricks-datasets/Rdatasets/data-001/csv/ggplot2/diamonds.csv',
  header=True,
  inferSchema=True
)
dbutils.data.summarize(df)

R

df <- read.df("/databricks-datasets/Rdatasets/data-001/csv/ggplot2/diamonds.csv", source = "csv", header="true", inferSchema = "true")
dbutils.data.summarize(df)

Scala

val df = spark.read.format("csv")
  .option("inferSchema", "true")
  .option("header", "true")
  .load("/databricks-datasets/Rdatasets/data-001/csv/ggplot2/diamonds.csv")
dbutils.data.summarize(df)

시각화는 SI 표기법 사용하여 0.01보다 작거나 10000보다 큰 숫자 values 간결하게 렌더링합니다. 예를 들어 1.25e-15 숫자 값은 1.25f로 렌더링됩니다. 한 가지 예외: 시각화에서 B(1.0e9)에 대해 "" 대신 "G"를 사용합니다.

파일 시스템 유틸리티(dbutils.fs)

파일 시스템 유틸리티를 사용하면 DBFS란?에 액세스하여 Azure Databricks를 파일 시스템으로 더 쉽게 사용할 수 있습니다.

Warning

모든 dbutils.fs 메서드의 Python 구현은 키워드 서식 지정을 위한 snake_case 대신 camelCase를 사용합니다.

예를 들어 .에 dbutils.fs.help() 대한 옵션을 extraConfigs 표시합니다 dbutils.fs.mount(). 그러나 Python에서는 키워드 extra_configs를 사용합니다.

이 유틸리티에서 사용할 수 있는 명령은 다음 table에 나열되어 있으며, 이를 dbutils.fs.help()을 사용하여 검색할 수 있습니다.

명령	묘사
cp	FileSystems 간에 파일 또는 디렉터리를(수도 있는) 복사합니다.
헤드	지정된 파일의 첫 번째 'maxBytes' 바이트를 UTF-8로 인코딩된 문자열로 반환합니다.
ls	디렉터리의 내용을 나열합니다.
mkdirs	지정된 디렉터리가 없는 경우 해당 디렉터리를 만들고 필요한 부모 디렉터리도 만듭니다.
탑재	지정된 탑재 지점의 DBFS에 지정된 원본 디렉터리를 탑재합니다.
가을 탑재한	DBFS 내에 탑재된 내용에 대한 정보를 표시합니다.
mv	파일 또는 디렉터리를 파일 시스템 간에 이동할 수 있습니다.
에을(를) 넣습니다.	지정된 문자열을 UTF-8로 인코딩된 파일에 씁니다.
refreshMounts	이 클러스터의 모든 장치에 강제로 마운트 캐시를 refresh하여 가장 최신 정보를 받도록 합니다.
rm	파일 또는 디렉터리를 제거합니다.
마운트 해제	DBFS 탑재 지점을 삭제합니다.
updateMount	mount()과 비슷하지만 새 탑재 지점을 만드는 대신 기존 탑재 지점을 업데이트합니다.

팁

Notebook에서 매직 명령을 사용하여 %fs DBFS에 액세스할 수 있습니다. 예를 들어 %fs ls /Volumes/main/default/my-volume/은 dbutils.fs.ls("/Volumes/main/default/my-volume/")과 같습니다. 매직 명령을 참조하세요.

cp 명령(dbutils.fs.cp)

cp(from: String, to: String, recurse: boolean = false): boolean

파일 또는 디렉터리를 파일 시스템 간에 복사합니다.

이 명령에 대한 전체 도움말을 표시하려면 다음을 실행합니다.

dbutils.fs.help("cp")

본보기

이 예제에서는 data.csv이라는 파일을 동일 볼륨 내의 /Volumes/main/default/my-volume/에서 new-data.csv으로 복사합니다.

Python

dbutils.fs.cp("/Volumes/main/default/my-volume/data.csv", "/Volumes/main/default/my-volume/new-data.csv")

# Out[4]: True

R

dbutils.fs.cp("/Volumes/main/default/my-volume/data.csv", "/Volumes/main/default/my-volume/new-data.csv")

# [1] TRUE

Scala

dbutils.fs.cp("/Volumes/main/default/my-volume/data.csv", "/Volumes/main/default/my-volume/new-data.csv")

// res3: Boolean = true

head 명령(dbutils.fs.head)

head(file: String, maxBytes: int = 65536): String

지정된 파일에서 지정된 최대 바이트 수까지 반환합니다. 바이트는 UTF-8로 인코딩된 문자열로 반환됩니다.

이 명령에 대한 전체 도움말을 표시하려면 다음을 실행합니다.

dbutils.fs.help("head")

본보기

다음 예제에서는 data.csv에 있는 /Volumes/main/default/my-volume/ 파일의 처음 25바이트를 표시합니다.

Python

dbutils.fs.head("/Volumes/main/default/my-volume/data.csv", 25)

# [Truncated to first 25 bytes]
# Out[12]: 'Year,First Name,County,Se'

R

dbutils.fs.head("/Volumes/main/default/my-volume/data.csv", 25)

# [1] "Year,First Name,County,Se"

Scala

dbutils.fs.head("/Volumes/main/default/my-volume/data.csv", 25)

// [Truncated to first 25 bytes]
// res4: String =
// "Year,First Name,County,Se"

ls 명령(dbutils.fs.ls)

ls(dir: String): Seq

디렉터리의 콘텐츠를 나열합니다.

이 명령에 대한 전체 도움말을 표시하려면 다음을 실행합니다.

dbutils.fs.help("ls")

본보기

다음 예제에서는 /Volumes/main/default/my-volume/의 콘텐츠에 대한 정보를 표시합니다. modificationTime 필드는 Databricks Runtime 10.4 LTS 이상에서 사용할 수 있습니다. R에서 modificationTime은 문자열로 반환됩니다.

Python

dbutils.fs.ls("/Volumes/main/default/my-volume/")

# Out[13]: [FileInfo(path='dbfs:/Volumes/main/default/my-volume/data.csv', name='data.csv', size=2258987, modificationTime=1711357839000)]

R

dbutils.fs.ls("/Volumes/main/default/my-volume/")

# For prettier results from dbutils.fs.ls(<dir>), please use `%fs ls <dir>`

# [[1]]
# [[1]]$path
# [1] "/Volumes/main/default/my-volume/data.csv"

# [[1]]$name
# [1] "data.csv"

# [[1]]$size
# [1] 2258987

# [[1]]$isDir
# [1] FALSE

# [[1]]$isFile
# [1] TRUE

# [[1]]$modificationTime
# [1] "1711357839000"

Scala

dbutils.fs.ls("/tmp")

// res6: Seq[com.databricks.backend.daemon.dbutils.FileInfo] = WrappedArray(FileInfo(/Volumes/main/default/my-volume/data.csv, 2258987, 1711357839000))

mkdirs 명령(dbutils.fs.mkdirs)

mkdirs(dir: String): boolean

없는 경우 지정된 디렉터리를 만듭니다. 필요한 부모 디렉터리도 만듭니다.

이 명령에 대한 전체 도움말을 표시하려면 다음을 실행합니다.

dbutils.fs.help("mkdirs")

본보기

이 예제에서는 디렉터리 my-data을 /Volumes/main/default/my-volume/에 만듭니다.

Python

dbutils.fs.mkdirs("/Volumes/main/default/my-volume/my-data")

# Out[15]: True

R

dbutils.fs.mkdirs("/Volumes/main/default/my-volume/my-data")

# [1] TRUE

Scala

dbutils.fs.mkdirs("/Volumes/main/default/my-volume/my-data")

// res7: Boolean = true

mount 명령(dbutils.fs.mount)

mount(source: String, mountPoint: String, encryptionType: String = "", owner: String = null, extraConfigs: Map = Map.empty[String, String]): boolean

지정된 원본 디렉터리를 DBFS의 지정된 탑재 지점에 탑재합니다.

이 명령에 대한 전체 도움말을 표시하려면 다음을 실행합니다.

dbutils.fs.help("mount")

본보기

Python

dbutils.fs.mount(
  source = "wasbs://<container-name>@<storage-account-name>.blob.core.windows.net",
  mount_point = "/mnt/<mount-name>",
  extra_configs = {"<conf-key>":dbutils.secrets.get(scope = "<scope-name>", key = "<key-name>")})

Scala

dbutils.fs.mount(
  source = "wasbs://<container-name>@<storage-account-name>.blob.core.windows.net/<directory-name>",
  mountPoint = "/mnt/<mount-name>",
  extraConfigs = Map("<conf-key>" -> dbutils.secrets.get(scope = "<scope-name>", key = "<key-name>")))

추가 코드 예제는 Azure Data Lake Storage Gen2 및 Blob Storage에 연결 참조하세요.

mounts 명령(dbutils.fs.mounts)

mounts: Seq

현재 DBFS 내에 탑재된 항목에 대한 정보를 표시합니다.

이 명령에 대한 전체 도움말을 표시하려면 다음을 실행합니다.

dbutils.fs.help("mounts")

본보기

Warning

실행 중인 다른 모든 클러스터에서 dbutils.fs.refreshMounts()을 호출하여 새 탑재 내용을 전파합니다. refreshMounts 명령(dbutils.fs.refreshMounts)을 참조하세요.

Python

dbutils.fs.mounts()

Scala

dbutils.fs.mounts()

추가 코드 예제는 Azure Data Lake Storage Gen2 및 Blob Storage에 연결 참조하세요.

mv 명령(dbutils.fs.mv)

mv(from: String, to: String, recurse: boolean = false): boolean

파일 또는 디렉터리를 파일 시스템 간에 이동합니다. 이동은 파일 시스템 내의 이동에 대해서도 복사 후 삭제입니다.

이 명령에 대한 전체 도움말을 표시하려면 다음을 실행합니다.

dbutils.fs.help("mv")

본보기

다음 예제에서는 rows.csv 파일을 /Volumes/main/default/my-volume/에서 /Volumes/main/default/my-volume/my-data/로 이동합니다.

Python

dbutils.fs.mv("/Volumes/main/default/my-volume/rows.csv", "/Volumes/main/default/my-volume/my-data/")

# Out[2]: True

R

dbutils.fs.mv("/Volumes/main/default/my-volume/rows.csv", "/Volumes/main/default/my-volume/my-data/")

# [1] TRUE

Scala

dbutils.fs.mv("/Volumes/main/default/my-volume/rows.csv", "/Volumes/main/default/my-volume/my-data/")

// res1: Boolean = true

put 명령(dbutils.fs.put)

put(file: String, contents: String, overwrite: boolean = false): boolean

지정된 문자열을 파일에 씁니다. 문자열은 UTF-8로 인코딩됩니다.

이 명령에 대한 전체 도움말을 표시하려면 다음을 실행합니다.

dbutils.fs.help("put")

본보기

다음 예제에서는 Hello, Databricks! 문자열을 hello.txt의 /Volumes/main/default/my-volume/라는 파일에 씁니다. 파일이 있으면 덮어씁니다.

Python

dbutils.fs.put("/Volumes/main/default/my-volume/hello.txt", "Hello, Databricks!", True)

# Wrote 2258987 bytes.
# Out[6]: True

R

dbutils.fs.put("/Volumes/main/default/my-volume/hello.txt", "Hello, Databricks!", TRUE)

# [1] TRUE

Scala

dbutils.fs.put("/Volumes/main/default/my-volume/hello.txt", "Hello, Databricks!", true)

// Wrote 2258987 bytes.
// res2: Boolean = true

refreshMounts 명령(dbutils.fs.refreshMounts)

refreshMounts: boolean

클러스터 내 모든 머신이 최신 정보를 수신할 수 있도록 마운트 캐시를 강제로 refresh 합니다.

이 명령에 대한 전체 도움말을 표시하려면 다음을 실행합니다.

dbutils.fs.help("refreshMounts")

본보기

Python

dbutils.fs.refreshMounts()

Scala

dbutils.fs.refreshMounts()

추가 코드 예제는 Azure Data Lake Storage Gen2 및 Blob Storage에 연결 참조하세요.

rm 명령(dbutils.fs.rm)

rm(dir: String, recurse: boolean = false): boolean

파일 또는 디렉터리를 제거하고 필요에 따라 모든 내용을 제거합니다. 파일을 지정하면 매개 변수가 recurse 무시됩니다. 디렉터리를 지정하면 사용하지 않도록 설정되고 디렉터리가 비어 있지 않을 때 recurse 오류가 발생합니다.

이 명령에 대한 전체 도움말을 표시하려면 다음을 실행합니다.

dbutils.fs.help("rm")

본보기

이 예제에서는 해당 내용을 포함하여 전체 디렉터리를 /Volumes/main/default/my-volume/my-data/ 제거합니다.

Python

dbutils.fs.rm("/Volumes/main/default/my-volume/my-data/", True)

# Out[8]: True

R

dbutils.fs.rm("/Volumes/main/default/my-volume/my-data/", TRUE)

# [1] TRUE

Scala

dbutils.fs.rm("/Volumes/main/default/my-volume/my-data/", true)

// res6: Boolean = true

unmount 명령(dbutils.fs.unmount)

unmount(mountPoint: String): boolean

DBFS 탑재 지점을 삭제합니다.

Warning

오류를 방지하려면, 다른 작업이 읽거나 쓰고 있는 탑재 지점을 수정해서는 안 됩니다. 탑재를 수정한 후에는 항상 실행 중인 다른 모든 클러스터에서 dbutils.fs.refreshMounts()을 실행하여 탑재 업데이트를 전파합니다. refreshMounts 명령(dbutils.fs.refreshMounts)을 참조하세요.

이 명령에 대한 전체 도움말을 표시하려면 다음을 실행합니다.

dbutils.fs.help("unmount")

본보기

dbutils.fs.unmount("/mnt/<mount-name>")

추가 코드 예제는 Azure Data Lake Storage Gen2 및 Blob Storage에 연결 참조하세요.

updateMount 명령(dbutils.fs.updateMount)

updateMount(source: String, mountPoint: String, encryptionType: String = "", owner: String = null, extraConfigs: Map = Map.empty[String, String]): boolean

dbutils.fs.mount 명령과 비슷하지만, 새 탑재 지점을 만드는 대신 기존 탑재 지점을 업데이트합니다. 탑재 지점이 없으면 오류를 반환합니다.

Warning

이 명령은 Databricks Runtime 10.4 LTS 이상에서 사용할 수 있습니다.

이 명령에 대한 전체 도움말을 표시하려면 다음을 실행합니다.

dbutils.fs.help("updateMount")

본보기

Python

dbutils.fs.updateMount(
  source = "wasbs://<container-name>@<storage-account-name>.blob.core.windows.net",
  mount_point = "/mnt/<mount-name>",
  extra_configs = {"<conf-key>":dbutils.secrets.get(scope = "<scope-name>", key = "<key-name>")})

Scala

dbutils.fs.updateMount(
  source = "wasbs://<container-name>@<storage-account-name>.blob.core.windows.net/<directory-name>",
  mountPoint = "/mnt/<mount-name>",
  extraConfigs = Map("<conf-key>" -> dbutils.secrets.get(scope = "<scope-name>", key = "<key-name>")))

작업 유틸리티(dbutils.jobs)

작업 기능을 활용하기 위한 유틸리티를 제공합니다.

참고 항목

이 유틸리티는 Python에서만 사용할 수 있습니다.

다음 table은 dbutils.jobs.help()을 사용하여 검색할 수 있는 이 유틸리티의 사용 가능한 모듈을 나열합니다.

하위모듈	묘사
taskValues	작업 values을 활용하기 위한 유틸리티를 제공합니다.

taskValues 하위 유틸리티(dbutils.jobs.taskValues)

참고 항목

이 하위 유틸리티는 Python에서만 사용할 수 있습니다.

작업 태스크 values활용하기 위한 명령을 제공합니다.

이 하위 유틸리티를 사용하여 작업 실행 중에 임의의 set와 get를 values하십시오. 이러한 values은/는 작업 values로 불립니다. 모든 작업은 업스트림 작업에서 getvaluesset 하며, 다운스트림 작업에서 사용할 수 있도록 setvalues 합니다.

각 태스크 값은 동일한 태스크 내에 고유한 키가 있습니다. 이 고유한 키를 태스크 값의 키라고 합니다. 태스크 이름 및 태스크 값의 키를 사용하여 태스크 값에 액세스합니다. 이를 사용하여 동일한 작업 실행 내에서 태스크에서 태스크로 정보 다운스트림을 전달할 수 있습니다. 예를 들어 작업 실행 내의 여러 작업 간에 기계 학습 모델 평가에 대한 정보와 같은 식별자 또는 메트릭을 전달할 수 있습니다.

다음 table은/는 이 하위 작업에서 사용할 수 있는 명령어를 나열하며, 이를 dbutils.jobs.taskValues.help()을/를 사용하여 검색할 수 있습니다.

명령	묘사
get	현재 작업 실행에서 지정한 태스크에 대해 지정된 태스크 값의 내용을 가져옵니다.
set	태스크 값을 설정하거나 업데이트합니다. 작업 실행 시 최대 250개의 작업을 setvalues 수 있습니다.

get 명령(dbutils.jobs.taskValues.get)

참고 항목

이 명령은 Python에서만 사용할 수 있습니다.

Databricks Runtime 10.4 이하에서 get 작업을 찾을 수 없는 경우 대신 ValueError가 발생합니다.

get(taskKey: String, key: String, default: int, debugValue: int): Seq

현재 작업 실행에서 지정한 태스크에 대해 지정된 태스크 값의 내용을 가져옵니다.

이 명령에 대한 전체 도움말을 표시하려면 다음을 실행합니다.

dbutils.jobs.taskValues.help("get")

본보기

예시:

dbutils.jobs.taskValues.get(taskKey    = "my-task", \
                            key        = "my-key", \
                            default    = 7, \
                            debugValue = 42)

앞의 예에서:

taskKey 는 작업 값을 설정하는 작업의 이름입니다. 명령에서 이 태스크를 찾을 수 없으면 ValueError가 발생합니다.
key은 set사용하여 set에 설정한 작업 값의 키 이름입니다. 명령에서 이 태스크 값의 키를 찾을 수 없는 경우 ValueError가 발생합니다(default를 지정하지 않은 경우).
default는 key를 찾을 수 없는 경우에 반환되는 선택적 값입니다. default는 None일 수 없습니다.
debugValue은 작업 외부에서 실행되는 노트북 내에서 작업 값을 get하려고 할 때 반환되는 선택적 값입니다. 이는 디버깅 중에 Notebook을 수동으로 실행하고 기본적으로 TypeError를 발생시키는 대신 일부 값을 반환하려는 경우에 유용할 수 있습니다. debugValue는 None일 수 없습니다.

작업 외부에서 실행 중인 Notebook 내에서 작업 값을 get 시도하면 이 명령은 기본적으로 TypeError을 발생시킵니다. 그러나 명령에서 debugValue 인수를 지정하면 debugValue가 발생하는 대신 TypeError 값이 반환됩니다.

set 명령(dbutils.jobs.taskValues.set)

참고 항목

이 명령은 Python에서만 사용할 수 있습니다.

set(key: String, value: String): boolean

태스크 값을 설정하거나 업데이트합니다. 작업 실행 시 최대 250개의 작업을 setvalues 수 있습니다.

이 명령에 대한 전체 도움말을 표시하려면 다음을 실행합니다.

dbutils.jobs.taskValues.help("set")

본보기

일부 사례:

dbutils.jobs.taskValues.set(key   = "my-key", \
                            value = 5)

dbutils.jobs.taskValues.set(key   = "my-other-key", \
                            value = "my other value")

앞의 예에서

key은 태스크 값의 키입니다. 키는 태스크마다 고유해야 합니다. 즉, 각각 키 set있는 작업 값을 K 하는 두 개의 서로 다른 작업이 있을 경우, 이는 같은 키 values를 가진 두 개의 다른 작업 K 입니다.
value는 이 작업 값의 키에 대한 값입니다. 이 명령은 내부적으로 값을 JSON 형식으로 표현할 수 있어야 합니다. 값의 JSON 표현 크기는 48KiB를 초과할 수 없습니다.

작업 외부에서 실행되는 Notebook 내에서 작업 값을 set 경우 이 명령은 아무 작업도 수행하지 않습니다.

라이브러리 유틸리티(dbutils.library)

하위 모듈 dbutils.library의 메서드 대부분은 더 이상 사용되지 않습니다. 라이브러리 유틸리티(dbutils.library)(레거시)를 참조하세요.

로컬에서 설치되거나 업그레이드된 라이브러리가 현재 SparkSession의 Python 커널에서 올바르게 작동하도록 하려면 Azure Databricks에서 Python 프로세스를 프로그램적으로 다시 시작해야 할 수 있습니다. 이렇게 하려면 dbutils.library.restartPython 명령을 실행합니다. Azure Databricks에서 Python 프로세스 다시 시작을 참조하세요.

Notebook 유틸리티(dbutils.notebook)

notebook 유틸리티를 사용하면 Notebook을 함께 연결하고 결과에 따라 작업을 수행할 수 있습니다. Notebook 오케스트레이션 및 모듈화 코드 를Notebook에서 참조하세요.

이 유틸리티에서 사용할 수 있는 명령은 다음 table에 나열되어 있으며, 이를 dbutils.notebook.help()을 사용하여 검색할 수 있습니다.

명령	묘사
종료	값이 있는 Notebook을 종료합니다.
실행	노트북을 실행하여 종료 값을 반환합니다.

exit 명령(dbutils.notebook.exit)

exit(value: String): void

값이 있는 Notebook을 종료합니다.

이 명령에 대한 전체 도움말을 표시하려면 다음을 실행합니다.

dbutils.notebook.help("exit")

본보기

다음 예제에서는 Exiting from My Other Notebook 값이 있는 Notebook을 종료합니다.

Python

dbutils.notebook.exit("Exiting from My Other Notebook")

# Notebook exited: Exiting from My Other Notebook

R

dbutils.notebook.exit("Exiting from My Other Notebook")

# Notebook exited: Exiting from My Other Notebook

Scala

dbutils.notebook.exit("Exiting from My Other Notebook")

// Notebook exited: Exiting from My Other Notebook

참고 항목

실행에 백그라운드에서 실행되는 구조적 스트리밍이 있는 쿼리가 있는 경우 dbutils.notebook.exit()를 호출해도 실행이 종료되지 않습니다. 쿼리가 백그라운드에서 실행되는 동안 실행은 계속 실행됩니다. 쿼리 셀에서 취소를 클릭하거나 query.stop()을 실행하여 백그라운드에서 쿼리 실행을 중지할 수 있습니다. 쿼리가 중지되면 dbutils.notebook.exit()를 사용하여 실행을 종료할 수 있습니다.

run 명령(dbutils.notebook.run)

run(path: String, timeoutSeconds: int, arguments: Map): String

Notebook을 실행하고 해당 종료 값을 반환합니다. Notebook은 기본적으로 현재 클러스터에서 실행됩니다.

참고 항목

run 명령에서 반환되는 문자열 값의 최대 길이는 5MB입니다. 단일 실행()에 대한 출력 참조하세요.

이 명령에 대한 전체 도움말을 표시하려면 다음을 실행합니다.

dbutils.notebook.help("run")

본보기

다음 예제에서는 호출하는 Notebook과 동일한 위치에서 My Other Notebook이라는 Notebook을 실행합니다. 호출된 Notebook은 dbutils.notebook.exit("Exiting from My Other Notebook") 코드 줄로 끝납니다. 호출된 Notebook이 60초 이내에 실행을 완료하지 않으면 예외가 throw됩니다.

Python

dbutils.notebook.run("My Other Notebook", 60)

# Out[14]: 'Exiting from My Other Notebook'

Scala

dbutils.notebook.run("My Other Notebook", 60)

// res2: String = Exiting from My Other Notebook

비밀 유틸리티(dbutils.secrets)

secrets 유틸리티를 사용하면 중요한 자격 증명 정보를 Notebook에 표시하지 않고 저장하고 액세스할 수 있습니다. 비밀 관리 및 3단계: Notebook에서 비밀 사용 참조

이 유틸리티에서 사용할 수 있는 명령은 다음 table에 나열되어 있으며, 이를 dbutils.secrets.help()을 사용하여 검색할 수 있습니다.

명령	묘사
get	범위 및 키를 사용하여 비밀 값의 문자열 표현을 가져옵니다.
getBytes	범위 및 키를 사용하여 비밀 값의 바이트 표현을 가져옵니다.
list	범위 내의 비밀에 대한 비밀 메타데이터를 나열합니다.
listScopes	비밀 범위를 나열합니다.

get 명령("dbutils.secrets.get")

get(scope: String, key: String): String

지정된 비밀 범위 및 키에 대한 비밀 값의 문자열 표현을 가져옵니다.

Warning

관리자, 비밀 작성자 및 권한이 부여된 사용자는 Azure Databricks 비밀을 읽을 수 있습니다. Azure Databricks는 노트북에 표시될 수 있는 비밀 values를 가리기 위해 노력하지만, 이러한 사용자가 비밀을 열람하지 못하도록 할 수는 없습니다. 자세한 내용은 비밀 수정을 참조하세요.

이 명령에 대한 전체 도움말을 표시하려면 다음을 실행합니다.

dbutils.secrets.help("get")

본보기

다음 예제에서는 my-scope라는 범위와 my-key라는 키에 대한 비밀 값의 문자열 표현을 가져옵니다.

Python

dbutils.secrets.get(scope="my-scope", key="my-key")

# Out[14]: '[REDACTED]'

R

dbutils.secrets.get(scope="my-scope", key="my-key")

# [1] "[REDACTED]"

Scala

dbutils.secrets.get(scope="my-scope", key="my-key")

// res0: String = [REDACTED]

getBytes 명령(dbutils.secrets.getBytes)

getBytes(scope: String, key: String): byte[]

지정된 범위 및 키에 대한 비밀 값의 바이트 표현을 가져옵니다.

이 명령에 대한 전체 도움말을 표시하려면 다음을 실행합니다.

dbutils.secrets.help("getBytes")

본보기

다음 예제에서는 범위 a1!b2@c3# 및 키 my-scope에 대한 비밀 값(이 예에서는 my-key)의 바이트 표현을 가져옵니다.

Python

dbutils.secrets.getBytes(scope="my-scope", key="my-key")

# Out[1]: b'a1!b2@c3#'

R

dbutils.secrets.getBytes(scope="my-scope", key="my-key")

# [1] 61 31 21 62 32 40 63 33 23

Scala

dbutils.secrets.getBytes(scope="my-scope", key="my-key")

// res1: Array[Byte] = Array(97, 49, 33, 98, 50, 64, 99, 51, 35)

list 명령("dbutils.secrets.list")

list(scope: String): Seq

지정된 범위 내의 비밀에 대한 메타데이터를 나열합니다.

이 명령에 대한 전체 도움말을 표시하려면 다음을 실행합니다.

dbutils.secrets.help("list")

본보기

다음 예제에서는 my-scope라는 범위 내의 비밀에 대한 메타데이터를 나열합니다.

Python

dbutils.secrets.list("my-scope")

# Out[10]: [SecretMetadata(key='my-key')]

R

dbutils.secrets.list("my-scope")

# [[1]]
# [[1]]$key
# [1] "my-key"

Scala

dbutils.secrets.list("my-scope")

// res2: Seq[com.databricks.dbutils_v1.SecretMetadata] = ArrayBuffer(SecretMetadata(my-key))

listScopes 명령(dbutils.secrets.listScopes)

listScopes: Seq

사용 가능한 범위를 나열합니다.

이 명령에 대한 전체 도움말을 표시하려면 다음을 실행합니다.

dbutils.secrets.help("listScopes")

본보기

다음 예제에서는 사용 가능한 범위를 나열합니다.

Python

dbutils.secrets.listScopes()

# Out[14]: [SecretScope(name='my-scope')]

R

dbutils.secrets.listScopes()

# [[1]]
# [[1]]$name
# [1] "my-scope"

Scala

dbutils.secrets.listScopes()

// res3: Seq[com.databricks.dbutils_v1.SecretScope] = ArrayBuffer(SecretScope(my-scope))

위젯 유틸리티(dbutils.widgets)

widgets 유틸리티를 사용하면 Notebook을 매개 변수화할 수 있습니다. Databricks 위젯을 참조하세요.

이 유틸리티에서 사용할 수 있는 명령은 다음 table에 나열되어 있으며, 이를 dbutils.widgets.help()을 사용하여 검색할 수 있습니다.

명령	묘사
콤보 상자	지정된 이름, 기본값 및 선택 항목을 사용하여 콤보 상자 입력 위젯을 만듭니다.
드롭다운	지정된 이름, 기본값 및 선택 항목이 있는 드롭다운 입력 위젯을 만듭니다.
get	입력 위젯의 현재 값을 검색합니다.
getAll	모든 위젯 이름 및 해당 values 맵을 검색합니다.
getArgument	더 이상 사용되지 않음. get와 동일한
다중 선택	지정된 이름, 기본값 및 선택 항목을 사용하여 다중 선택 입력 위젯을 만듭니다.
remove	Notebook에서 입력 위젯을 제거합니다.
모두 제거하기	Notebook의 모든 위젯을 제거합니다.
텍스트	지정된 이름과 기본값을 사용하여 텍스트 입력 위젯을 만듭니다.

combobox 명령(dbutils.widgets.combobox)

combobox(name: String, defaultValue: String, choices: Seq, label: String): void

지정된 프로그래밍 이름, 기본값, 선택 항목 및 선택적 레이블을 사용하여 콤보 상자 위젯을 만들고 표시합니다.

이 명령에 대한 전체 도움말을 표시하려면 다음을 실행합니다.

dbutils.widgets.help("combobox")

본보기

다음 예제에서는 프로그래밍 이름이 fruits_combobox인 콤보 상자 위젯을 만들고 표시합니다. apple, banana, coconut및 dragon fruit을(를) 선택할 수 있으며, 초기 값 set에 banana입니다. 이 콤보 상자 위젯에는 Fruits 레이블이 함께 포함됩니다. 다음 예제에서는 콤보 상자 위젯의 초기 값(banana)을 출력하는 것으로 끝납니다.

Python

dbutils.widgets.combobox(
  name='fruits_combobox',
  defaultValue='banana',
  choices=['apple', 'banana', 'coconut', 'dragon fruit'],
  label='Fruits'
)

print(dbutils.widgets.get("fruits_combobox"))

# banana

R

dbutils.widgets.combobox(
  name='fruits_combobox',
  defaultValue='banana',
  choices=list('apple', 'banana', 'coconut', 'dragon fruit'),
  label='Fruits'
)

print(dbutils.widgets.get("fruits_combobox"))

# [1] "banana"

Scala

dbutils.widgets.combobox(
  "fruits_combobox",
  "banana",
  Array("apple", "banana", "coconut", "dragon fruit"),
  "Fruits"
)

print(dbutils.widgets.get("fruits_combobox"))

// banana

SQL

CREATE WIDGET COMBOBOX fruits_combobox DEFAULT "banana" CHOICES SELECT * FROM (VALUES ("apple"), ("banana"), ("coconut"), ("dragon fruit"))

SELECT :fruits_combobox

-- banana

dropdown(name: String, defaultValue: String, choices: Seq, label: String): void

지정된 프로그래밍 이름, 기본값, 선택 항목 및 선택적 레이블을 사용하여 드롭다운 위젯을 만들고 표시합니다.

이 명령에 대한 전체 도움말을 표시하려면 다음을 실행합니다.

dbutils.widgets.help("dropdown")

본보기

다음 예제에서는 프로그래밍 이름이 toys_dropdown인 드롭다운 위젯을 만들고 표시합니다. alphabet blocks, basketball, cape및 doll을(를) 선택할 수 있으며, 초기 값 set에 basketball입니다. 이 드롭다운 위젯에는 Toys 레이블이 함께 포함됩니다. 다음 예제에서는 드롭다운 위젯의 초기 값(basketball)을 출력하는 것으로 끝납니다.

Python

dbutils.widgets.dropdown(
  name='toys_dropdown',
  defaultValue='basketball',
  choices=['alphabet blocks', 'basketball', 'cape', 'doll'],
  label='Toys'
)

print(dbutils.widgets.get("toys_dropdown"))

# basketball

R

dbutils.widgets.dropdown(
  name='toys_dropdown',
  defaultValue='basketball',
  choices=list('alphabet blocks', 'basketball', 'cape', 'doll'),
  label='Toys'
)

print(dbutils.widgets.get("toys_dropdown"))

# [1] "basketball"

Scala

dbutils.widgets.dropdown(
  "toys_dropdown",
  "basketball",
  Array("alphabet blocks", "basketball", "cape", "doll"),
  "Toys"
)

print(dbutils.widgets.get("toys_dropdown"))

// basketball

SQL

CREATE WIDGET DROPDOWN toys_dropdown DEFAULT "basketball" CHOICES SELECT * FROM (VALUES ("alphabet blocks"), ("basketball"), ("cape"), ("doll"))

SELECT :toys_dropdown

-- basketball

get 명령(dbutils.widgets.get)

get(name: String): String

지정된 프로그래밍 이름이 있는 위젯의 현재 값을 가져옵니다. 이 프로그래밍 이름은 다음 중 하나일 수 있습니다.

Notebook에 있는 사용자 지정 위젯의 이름입니다(예: fruits_comboboxtoys_dropdown).
Notebook 태스크의 일부로 Notebook에 전달된 사용자 지정 매개 변수의 이름(예: name 또는 age). 자세한 내용은 작업 UI에서 Notebook 작업에 대한 또는 작업 API에서 새 작업 실행() 작업을 트리거하는 필드를 참조하세요.

이 명령에 대한 전체 도움말을 표시하려면 다음을 실행합니다.

dbutils.widgets.help("get")

본보기

다음 예제에서는 프로그래밍 이름이 fruits_combobox인 위젯의 값을 가져옵니다.

Python

dbutils.widgets.get('fruits_combobox')

# banana

R

dbutils.widgets.get('fruits_combobox')

# [1] "banana"

Scala

dbutils.widgets.get("fruits_combobox")

// res6: String = banana

SQL

SELECT :fruits_combobox

-- banana

다음 예제에서는 프로그래밍 이름이 age인 Notebook 태스크 매개 변수의 값을 가져옵니다. 이 매개 변수는 관련 Notebook 작업이 실행될 때 set에서 35로 변경되었습니다.

Python

dbutils.widgets.get('age')

# 35

R

dbutils.widgets.get('age')

# [1] "35"

Scala

dbutils.widgets.get("age")

// res6: String = 35

SQL

SELECT :age

-- 35

getAll 명령(dbutils.widgets.getAll)

getAll: map

모든 현재 위젯 이름과 values의 매핑을 가져옵니다. 위젯 values을 spark.sql() 쿼리에 빠르게 전달하는 것은 특히 유용할 수 있습니다.

이 명령은 Databricks Runtime 13.3 LTS 이상에서 사용할 수 있습니다. Python 및 Scala에서만 사용할 수 있습니다.

이 명령에 대한 전체 도움말을 표시하려면 다음을 실행합니다.

dbutils.widgets.help("getAll")

본보기

이 예제에서는 위젯 values 맵을 가져오고 Spark SQL 쿼리에서 매개 변수 인수로 전달합니다.

Python

df = spark.sql("SELECT * FROM table where col1 = :param", dbutils.widgets.getAll())
df.show()

# Query output

Scala

val df = spark.sql("SELECT * FROM table where col1 = :param", dbutils.widgets.getAll())
df.show()

// res6: Query output

getArgument 명령(dbutils.widgets.getArgument)

getArgument(name: String, optional: String): String

지정된 프로그래밍 이름이 있는 위젯의 현재 값을 가져옵니다. 위젯이 없으면 선택적 메시지가 반환될 수 있습니다.

참고 항목

이 명령은 더 이상 사용되지 않습니다. 대신 dbutils.widgets를 사용합니다.get.

이 명령에 대한 전체 도움말을 표시하려면 다음을 실행합니다.

dbutils.widgets.help("getArgument")

본보기

다음 예제에서는 프로그래밍 이름이 fruits_combobox인 위젯의 값을 가져옵니다. 이 위젯이 없으면 Error: Cannot find fruits combobox 메시지가 반환됩니다.

Python

dbutils.widgets.getArgument('fruits_combobox', 'Error: Cannot find fruits combobox')

# Deprecation warning: Use dbutils.widgets.text() or dbutils.widgets.dropdown() to create a widget and dbutils.widgets.get() to get its bound value.
# Out[3]: 'banana'

R

dbutils.widgets.getArgument('fruits_combobox', 'Error: Cannot find fruits combobox')

# Deprecation warning: Use dbutils.widgets.text() or dbutils.widgets.dropdown() to create a widget and dbutils.widgets.get() to get its bound value.
# [1] "banana"

Scala

dbutils.widgets.getArgument("fruits_combobox", "Error: Cannot find fruits combobox")

// command-1234567890123456:1: warning: method getArgument in trait WidgetsUtils is deprecated: Use dbutils.widgets.text() or dbutils.widgets.dropdown() to create a widget and dbutils.widgets.get() to get its bound value.
// dbutils.widgets.getArgument("fruits_combobox", "Error: Cannot find fruits combobox")
//                 ^
// res7: String = banana

multiselect 명령(dbutils.widgets.multiselect)

multiselect(name: String, defaultValue: String, choices: Seq, label: String): void

지정된 프로그래밍 이름, 기본값, 선택 항목 및 선택적 레이블을 사용하여 다중 선택 위젯을 만들고 표시합니다.

이 명령에 대한 전체 도움말을 표시하려면 다음을 실행합니다.

dbutils.widgets.help("multiselect")

본보기

다음 예제에서는 프로그래밍 이름이 days_multiselect인 다중 선택 위젯을 만들고 표시합니다. Monday부터 Sunday까지의 선택 항목을 제공하며 set의 초기 값은 Tuesday입니다. 이 다중 선택 위젯에는 Days of the Week 레이블이 함께 포함됩니다. 다음 예제에서는 다중 선택 위젯의 초기 값(Tuesday)을 출력하는 것으로 끝납니다.

Python

dbutils.widgets.multiselect(
  name='days_multiselect',
  defaultValue='Tuesday',
  choices=['Monday', 'Tuesday', 'Wednesday', 'Thursday',
    'Friday', 'Saturday', 'Sunday'],
  label='Days of the Week'
)

print(dbutils.widgets.get("days_multiselect"))

# Tuesday

R

dbutils.widgets.multiselect(
  name='days_multiselect',
  defaultValue='Tuesday',
  choices=list('Monday', 'Tuesday', 'Wednesday', 'Thursday',
    'Friday', 'Saturday', 'Sunday'),
  label='Days of the Week'
)

print(dbutils.widgets.get("days_multiselect"))

# [1] "Tuesday"

Scala

dbutils.widgets.multiselect(
  "days_multiselect",
  "Tuesday",
  Array("Monday", "Tuesday", "Wednesday", "Thursday",
    "Friday", "Saturday", "Sunday"),
  "Days of the Week"
)

print(dbutils.widgets.get("days_multiselect"))

// Tuesday

SQL

CREATE WIDGET MULTISELECT days_multiselect DEFAULT "Tuesday" CHOICES SELECT * FROM (VALUES ("Monday"), ("Tuesday"), ("Wednesday"), ("Thursday"), ("Friday"), ("Saturday"), ("Sunday"))

SELECT :days_multiselect

-- Tuesday

remove 명령(dbutils.widgets.remove)

remove(name: String): void

지정된 프로그램 이름이 있는 위젯을 제거합니다.

이 명령에 대한 전체 도움말을 표시하려면 다음을 실행합니다.

dbutils.widgets.help("remove")

Important

위젯에 remove 명령을 추가하면, 동일한 셀에서 위젯을 생성하는 후속 명령을 추가할 수 없습니다. 위젯을 만들려면 다른 셀을 사용해야 합니다.

본보기

다음 예제에서는 프로그래밍 이름이 fruits_combobox인 위젯을 제거합니다.

Python

dbutils.widgets.remove('fruits_combobox')

R

dbutils.widgets.remove('fruits_combobox')

Scala

dbutils.widgets.remove("fruits_combobox")

SQL

REMOVE WIDGET fruits_combobox

removeAll 명령(dbutils.widgets.removeAll)

removeAll: void

Notebook에서 모든 위젯을 제거합니다.

이 명령에 대한 전체 도움말을 표시하려면 다음을 실행합니다.

dbutils.widgets.help("removeAll")

Important

remove 명령을 모든 위젯에 추가하면, 후속 명령으로 동일한 셀에서 새로운 위젯을 만드는 것이 불가능합니다. 위젯을 다른 셀에 만들어야 합니다.

본보기

다음 예제에서는 Notebook에서 모든 위젯을 제거합니다.

Python

dbutils.widgets.removeAll()

R

dbutils.widgets.removeAll()

Scala

dbutils.widgets.removeAll()

text 명령(dbutils.widgets.text)

text(name: String, defaultValue: String, label: String): void

지정된 프로그래밍 이름, 기본값 및 선택적 레이블을 사용하여 텍스트 위젯을 만들고 표시합니다.

이 명령에 대한 전체 도움말을 표시하려면 다음을 실행합니다.

dbutils.widgets.help("text")

본보기

다음 예제에서는 프로그래밍 이름이 your_name_text인 텍스트 위젯을 만들고 표시합니다. set는 Enter your name의 초기 값입니다. 이 텍스트 위젯에는 Your name 레이블이 함께 포함됩니다. 다음 예제에서는 텍스트 위젯의 초기 값(Enter your name)을 출력하는 것으로 끝납니다.

Python

dbutils.widgets.text(
  name='your_name_text',
  defaultValue='Enter your name',
  label='Your name'
)

print(dbutils.widgets.get("your_name_text"))

# Enter your name

R

dbutils.widgets.text(
  name='your_name_text',
  defaultValue='Enter your name',
  label='Your name'
)

print(dbutils.widgets.get("your_name_text"))

# [1] "Enter your name"

Scala

dbutils.widgets.text(
  "your_name_text",
  "Enter your name",
  "Your name"
)

print(dbutils.widgets.get("your_name_text"))

// Enter your name

SQL

CREATE WIDGET TEXT your_name_text DEFAULT "Enter your name"

SELECT :your_name_text

-- Enter your name

Databricks 유틸리티 API 라이브러리

Important

Databricks 유틸리티 API(dbutils-api) 라이브러리 기능은 이제 더 이상 권장되지 않으며() 사용이 중단되었습니다(). Databricks는 다음 중 하나를 대신 사용하는 것이 좋습니다.

애플리케이션 개발을 가속화하려면 먼저 애플리케이션을 컴파일, 빌드 및 테스트한 후에 프로덕션 작업으로 배포하는 것이 도움이 될 수 있습니다. Databricks 유틸리티에 대해 컴파일할 수 있도록 Databricks에서 dbutils-api 라이브러리를 제공합니다. Maven 리포지토리 웹 사이트의 dbutils-api 웹 페이지에서 라이브러리를 다운로드하거나 종속성을 빌드 파일에 추가하여 라이브러리를 포함할 수 있습니다.

SBT

libraryDependencies += "com.databricks" % "dbutils-api_TARGET" % "VERSION"

Maven

<dependency>
    <groupId>com.databricks</groupId>
    <artifactId>dbutils-api_TARGET</artifactId>
    <version>VERSION</version>
</dependency>

Gradle

compile 'com.databricks:dbutils-api_TARGET:VERSION'

원하는 대상(예TARGET: )과 2.12 원하는 버전(예VERSION: )으로 바꿉 0.0.5 니다. 사용 가능한 대상 및 버전의 list에 대해서는 Maven 리포지토리 웹사이트의 DBUtils API 페이지를 참조하세요.

이 라이브러리에 대해 애플리케이션이 빌드되면 해당 애플리케이션을 배포할 수 있습니다.

Important

라이브러리를 dbutils-api 사용하면 실행하는 것이 아니라 사용하는 dbutils애플리케이션만 로컬로 컴파일할 수 있습니다. 애플리케이션을 실행하려면 Azure Databricks에 배포해야 합니다.

제한 사항

실행기 내에서 dbutils 호출하면 예기치 않은 결과나 오류가 발생할 수 있습니다.

dbutils을(를) 사용하여 실행기에서 파일 시스템 작업을 수행해야 하는 경우, list에서 Spark를 사용하여 파일을 더 빠르게 하고 삭제하는 방법에 대한 병렬 목록 및 삭제 메서드를 참조하세요.

실행기에 대한 자세한 내용은 Apache Spark 웹 사이트의 클러스터 모드 개요를 참조하세요.

다음을 통해 공유

Databricks 유틸리티(dbutils) 참고자료

유틸리티 모듈

명령어 도움말

데이터 유틸리티(dbutils.data)

summarize 명령(dbutils.data.summarize)

본보기

Python

R

Scala

파일 시스템 유틸리티(dbutils.fs)

cp 명령(dbutils.fs.cp)

본보기

Python

R

Scala

head 명령(dbutils.fs.head)

본보기

Python

R

Scala

ls 명령(dbutils.fs.ls)

본보기

Python

R

Scala

mkdirs 명령(dbutils.fs.mkdirs)

본보기

Python

R

Scala

mount 명령(dbutils.fs.mount)

본보기

Python

Scala

mounts 명령(dbutils.fs.mounts)

본보기

Python

Scala

mv 명령(dbutils.fs.mv)

본보기

Python

R

Scala

put 명령(dbutils.fs.put)

본보기

Python

R

Scala

refreshMounts 명령(dbutils.fs.refreshMounts)

본보기

Python

Scala

rm 명령(dbutils.fs.rm)

본보기

Python

R

Scala

unmount 명령(dbutils.fs.unmount)

본보기

updateMount 명령(dbutils.fs.updateMount)

본보기

Python

Scala

작업 유틸리티(dbutils.jobs)

taskValues 하위 유틸리티(dbutils.jobs.taskValues)

get 명령(dbutils.jobs.taskValues.get)

본보기

set 명령(dbutils.jobs.taskValues.set)

본보기

라이브러리 유틸리티(dbutils.library)

Notebook 유틸리티(dbutils.notebook)

exit 명령(dbutils.notebook.exit)

본보기

Python

R

Scala

run 명령(dbutils.notebook.run)

본보기

Python

Databricks 유틸리티(`dbutils`) 참고자료