Delta Storage 자격 증명 구성

참고 항목

Delta Storage 자격 증명을 구성하려면 Azure Databricks에 대한 클라우드 개체 스토리지에 대한 액세스 구성을 참조 하세요. Databricks는 이 문서에 설명된 대로 DataFrame 옵션을 통해 스토리지 자격 증명을 전달하는 것을 더 이상 권장하지 않습니다.

Azure Databricks는 Delta Lake 테이블에 대한 데이터를 클라우드 개체 스토리지에 저장합니다. 클라우드 개체 스토리지에 대한 액세스를 구성하려면 스토리지 계정이 포함된 클라우드 계정 내에서 권한이 필요합니다.

스토리지 자격 증명을 DataFrame 옵션으로 전달

Delta Lake는 DataFrameReader 및 DataFrameWriter에 대한 옵션으로 스토리지 자격 증명 지정을 지원합니다. 다른 액세스 키가 관리하는 여러 스토리지 계정의 데이터와 상호 작용해야 하는 경우 이를 사용할 수 있습니다.

참고 항목

이 기능은 Databricks Runtime 10.4 LTS 이상에서 사용할 수 있습니다.

예를 들어 DataFrame 옵션을 통해 스토리지 자격 증명을 전달할 수 있습니다.

Python

df1 = spark.read \
  .option("fs.azure.account.key.<storage-account-name>.dfs.core.windows.net", "<storage-account-access-key-1>") \
  .read("...")
df2 = spark.read \
  .option("fs.azure.account.key.<storage-account-name>.dfs.core.windows.net", "<storage-account-access-key-2>") \
  .read("...")
df1.union(df2).write \
  .mode("overwrite") \
  .option("fs.azure.account.key.<storage-account-name>.dfs.core.windows.net", "<storage-account-access-key-3>") \
  .save("...")

Scala

val df1 = spark.read
  .option("fs.azure.account.key.<storage-account-name>.dfs.core.windows.net", "<storage-account-access-key-1>")
  .read("...")
val df2 = spark.read
  .option("fs.azure.account.key.<storage-account-name>.dfs.core.windows.net", "<storage-account-access-key-2>")
  .read("...")
df1.union(df2).write
  .mode("overwrite")
  .option("fs.azure.account.key.<storage-account-name>.dfs.core.windows.net", "<storage-account-access-key-3>")
  .save("...")