Udostępnij za pośrednictwem

Wzbogacanie tabel usługi Delta Lake za pomocą niestandardowych metadanych

  • Artykuł

Usługa Databricks zaleca zawsze udostępnianie komentarzy do tabel i kolumn w tabelach. Te komentarze można wygenerować przy użyciu sztucznej inteligencji. Zobacz Dodawanie komentarzy generowanych przez sztuczną inteligencję do obiektów wykazu aparatu Unity.

Katalog aparatu Unity zapewnia również możliwość tagowania danych. Zobacz Stosowanie tagów do zabezpieczanych obiektów wykazu aparatu Unity.

Komunikaty dotyczące poszczególnych zatwierdzeń można również rejestrować w tabelach w polu w dzienniku transakcji usługi Delta Lake.

Ustawianie metadanych zatwierdzenia zdefiniowanego przez użytkownika

Ciągi zdefiniowane przez użytkownika można określić jako metadane w zatwierdzeniach przy użyciu opcji userMetadata DataFrameWriter lub konfiguracji spark.databricks.delta.commitInfo.userMetadataSparkSession. Jeśli oba z nich zostały określone, opcja przyjmuje preferencję. Te metadane zdefiniowane przez użytkownika można odczytać w DESCRIBE HISTORY operacji. Zobacz Praca z historią tabel platformy Delta Lake.

SQL


SET spark.databricks.delta.commitInfo.userMetadata=some-comment
INSERT OVERWRITE target_table SELECT * FROM data_source

Python

df.write \
  .mode("overwrite") \
  .option("userMetadata", "some-comment") \
  .table("target_table")

Scala

df.write
  .mode("overwrite")
  .option("userMetadata", "some-comment")
  .table("target_table")