カスタム メタデータを使用して Delta Lake テーブルをエンリッチする
Databricks では、テーブル内のテーブルと列に対してコメントを常に提供することを推奨しています。 これらのコメントは AI を使用して生成できます。 「AI が生成したコメントを Unity Catalog オブジェクトに追加する」を参照してください。
Unity Catalog には、データにタグを付ける機能もあります。 「Unity Catalog のセキュリティ保護可能なオブジェクトにタグを適用する」をご覧ください。
Delta Lake トランザクション ログのフィールド内のテーブルに対する個々のコミットのメッセージをログに記録することもできます。
ユーザー定義のコミット メタデータを設定する
DataFrameWriter オプション userMetadata
または SparkSession 構成 spark.databricks.delta.commitInfo.userMetadata
のいずれかを使用し、コミットのメタデータとしてユーザー定義文字列を指定できます。 これらの両方が指定されている場合は、オプションは優先されます。 このユーザー定義メタデータは、DESCRIBE HISTORY
操作で読み取りが可能です。 「Delta Lake テーブル履歴を操作する」を参照してください。
SQL
SET spark.databricks.delta.commitInfo.userMetadata=some-comment
INSERT OVERWRITE target_table SELECT * FROM data_source
Python
df.write \
.mode("overwrite") \
.option("userMetadata", "some-comment") \
.table("target_table")
Scala
df.write
.mode("overwrite")
.option("userMetadata", "some-comment")
.table("target_table")