使用自訂中繼資料擴充 Delta Lake 資料表
Databricks 建議一律為資料表和資料表中的資料行提供註解。 您可以使用 AI 產生這些註解。 請參閱將 AI 產生的註解新增至 Unity Catalog 物件。
Unity Catalog 也提供標記資料的功能。 請參閱將標籤套用至 Unity Catalog 安全物件。
您還可以為 Delta Lake 交易記錄中的欄位資料表的個別認可記錄訊息。
設定使用者定義的認可中繼資料
您可以使用 DataFrameWriter 選項 userMetadata
或 SparkSession 組態 spark.databricks.delta.commitInfo.userMetadata
,來將使用者定義的字串指定為認可中的中繼資料。 如果同時指定了兩個參數,則此選項將優先。 此使用者定義的中繼資料在 DESCRIBE HISTORY
作業中可讀取。 請參閱使用 Delta Lake 資料表歷程記錄。
SQL
SET spark.databricks.delta.commitInfo.userMetadata=some-comment
INSERT OVERWRITE target_table SELECT * FROM data_source
Python
df.write \
.mode("overwrite") \
.option("userMetadata", "some-comment") \
.table("target_table")
Scala
df.write
.mode("overwrite")
.option("userMetadata", "some-comment")
.table("target_table")