譜系系統數據表參考
重要
此系統數據表位於公開預覽版 。 若要存取資料表，必須在您的 system 目錄中啟用架構。 如需詳細資訊，請參閱 啟用系統資料表架構。
本文提供這兩個譜系系統數據表的概觀。 這些系統數據表建置在 Unity Catalog 數據譜系功能，可讓您以程式設計方式查詢譜系數據，以推動決策和報告。
注意
這兩個譜系數據表都代表所有讀取/寫入事件的子集，因為擷取譜系並不總是可能的。 只有在可推斷譜系時，才會發出記錄。
表譜系
表格血緣系統表包含每個在 Unity Catalog 表格或路徑上進行的讀取或寫入事件的記錄。 這包括但不限於作業執行、筆記本執行，以及使用讀取或寫入事件更新的儀表板。
資料表路徑：此系統資料表位於 system.access.table_lineage。
數據表譜系架構
譜系系統的數據表使用以下模式。
| 欄位名稱 | 資料類型 | 描述 | 範例 |
|---|---|---|---|
account_id |
字串 | Azure Databricks 帳戶的識別碼。 | 7af234db-66d7-4db3-bbf0-956098224879 |
metastore_id |
字串 | Unity 目錄中繼存放區的標識碼。 | 5a31ba44-bbf4-4174-bf33-e1fa078e6765 |
workspace_id |
字串 | 工作區的識別碼 | 123456789012345 |
entity_type |
字串 | 從中擷取譜系交易的實體類型。 值為 NOTEBOOK、JOB、PIPELINE、DASHBOARD_V3 (儀表板)、DBSQL_DASHBOARD (舊版儀表板)、DBSQL_QUERY 或 NULL。 |
NOTEBOOK |
entity_id |
字串 | 從中擷取譜系交易之實體的識別碼。 如果 entity_type 為 NULL，則 entity_id 為 NULL。 |
- 筆記本：23098402394234- 作業： 23098402394234- Databricks SQL 查詢： e9cd8a31-de2f-4206-adfa-4f6605d68d88- 儀表板： 01ef070d110715f2b6d3061b8bda89ea- 舊版儀表板： e9cd8a31-de2f-4206-adfa-4f6605d68d88- 管線： e9cd8a31-de2f-4206-adfa-4f6605d68d88 |
entity_run_id |
字串 | 描述實體的唯一執行識別碼，或 NULL。 每種實體類型都有所不同：- 筆記本：command_run_id - 作業：job_run_id - Databricks SQL 查詢：query_run_id - 儀表板：query_run_id - 舊版儀表板：query_run_id - 管線：pipeline_update_id 如果 entity_type 為 NULL，則 entity_run_id 為 NULL。 |
- 筆記本：e3cr5a10-de6f-6206-fdfa-4f5505d68d55- 作業： 51090402394234- Databricks SQL 查詢： e9cd8a31-de2f-4206-adfa-4f6605d68d88- 儀表板： c3ra5m10-pt6o-6206-mdfa-4f5505d68d55- 舊版儀表板： c3ra5m10-pt6o-6206-mdfa-4f5505d68d55- 管線： c5am1e0r-on2f-4206-adfa-4f6605d68d88 |
source_table_full_name |
字串 | 識別來源資料表的三段式名稱。 | catalog.schema.table |
source_table_catalog |
字串 | 源數據表的目錄。 | catalog |
source_table_schema |
字串 | 源數據表的架構。 | schema |
source_table_name |
字串 | 源數據表的名稱。 | table |
source_path |
字串 | 源數據表雲端記憶體中的位置，或直接從雲端記憶體讀取路徑。 | abfss://my-container-name@storage-account-name.dfs.core.windows.net/table1 |
source_type |
字串 | 來源的類型。 該值為 TABLE、PATH、VIEW 或 STREAMING_TABLE。 |
TABLE |
target_table_full_name |
字串 | 三部分名稱來識別目標資料表。 | catalog.schema.table |
target_table_catalog |
字串 | 目標資料表的目錄。 | catalog |
target_table_schema |
字串 | 目標資料表的結構。 | schema |
target_table_name |
字串 | 目標資料表的名稱。 | table |
target_path |
字串 | 目標數據表雲端記憶體中的位置。 | abfss://my-container-name@storage-account-name.dfs.core.windows.net/table1 |
target_type |
字串 | 目標的類型。 該值為 TABLE、PATH、VIEW 或 STREAMING TABLE。 |
TABLE |
created_by |
字串 | 產生此譜系的使用者。 這可以是 Azure Databricks 使用者名稱、Azure Databricks 服務主體識別碼「System-User」，或 NULL (無法擷取使用者資訊)。 |
crampton.rods@email.com |
event_time |
timestamp | 產生譜系時的時間戳記。 時區資訊會記錄在值結尾，+00:00 表示 UTC。 |
2023-06-20T19:47:21.194+00:00 |
event_date |
date | 產生譜系的日期。 這是分區的欄位。 | 2023-06-20 |
數據行譜數據表
欄位血緣表不包含沒有來源的事件。 例如，如果您使用明確值插入資料欄，則不會擷取它。 當您讀取某個欄位時，無論您是否寫入輸出，它都會被擷取。 Delta Live Tables 不支持欄位譜系。
資料表路徑：此系統資料表位於 system.access.column_lineage。
欄位譜系架構
欄位譜系系統資料表會使用下列架構：
| 欄位名稱 | 資料類型 | 描述 | 範例 |
|---|---|---|---|
account_id |
字串 | Azure Databricks 帳戶的識別碼。 | 7af234db-66d7-4db3-bbf0-956098224879 |
metastore_id |
字串 | Unity 目錄中繼存放區的標識碼。 | 5a31ba44-bbf4-4174-bf33-e1fa078e6765 |
workspace_id |
字串 | 工作區的識別碼 | 123456789012345 |
entity_type |
字串 | 從中擷取譜系交易的實體類型。 值為 NOTEBOOK、JOB、PIPELINE、DASHBOARD_V3 (儀表板)、DBSQL_DASHBOARD (舊版儀表板)、DBSQL_QUERY 或 NULL。 |
NOTEBOOK |
entity_id |
字串 | 從中擷取譜系交易之實體的識別碼。 如果 entity_type 為 NULL，則 entity_id 為 NULL。 |
- 筆記本：23098402394234- 作業： 23098402394234- Databricks SQL 查詢： e9cd8a31-de2f-4206-adfa-4f6605d68d88- 儀表板： 01ef070d110715f2b6d3061b8bda89ea- 舊版儀表板： e9cd8a31-de2f-4206-adfa-4f6605d68d88- 管線： e9cd8a31-de2f-4206-adfa-4f6605d68d88 |
entity_run_id |
字串 | 描述實體的唯一執行識別碼，或 NULL。 每種實體類型都有所不同：- 筆記本：command_run_id - 作業：job_run_id - Databricks SQL 查詢：query_run_id - 儀表板：query_run_id - 舊版儀表板：query_run_id - 管線：pipeline_update_id 如果 entity_type 為 NULL，則 entity_run_id 為 NULL。 |
- 筆記本：e3cr5a10-de6f-6206-fdfa-4f5505d68d55- 作業： 51090402394234- Databricks SQL 查詢： e9cd8a31-de2f-4206-adfa-4f6605d68d88- 儀表板： c3ra5m10-pt6o-6206-mdfa-4f5505d68d55- 舊版儀表板： c3ra5m10-pt6o-6206-mdfa-4f5505d68d55- 管線： c5am1e0r-on2f-4206-adfa-4f6605d68d88 |
source_table_full_name |
字串 | 識別來源資料表的三段式名稱。 | catalog.schema.table |
source_table_catalog |
字串 | 源數據表的目錄。 | catalog |
source_table_schema |
字串 | 源數據表的架構。 | schema |
source_table_name |
字串 | 源數據表的名稱。 | table |
source_path |
字串 | 源數據表雲端記憶體中的位置，或直接從雲端記憶體讀取路徑。 | abfss://my-container-name@storage-account-name.dfs.core.windows.net/table1 |
source_type |
字串 | 來源的類型。 該值為 TABLE、PATH、VIEW 或 STREAMING_TABLE。 |
TABLE |
source_column_name |
字串 | 來源欄的名稱。 | date |
target_table_full_name |
字串 | 三部分名稱來識別目標資料表。 | catalog.schema.table |
target_table_catalog |
字串 | 目標資料表的目錄。 | catalog |
target_table_schema |
字串 | 目標資料表的結構。 | schema |
target_table_name |
字串 | 目標資料表的名稱。 | table |
target_path |
字串 | 目標數據表雲端記憶體中的位置。 | abfss://my-container-name@storage-account-name.dfs.core.windows.net/table1 |
target_type |
字串 | 目標的類型。 該值為 TABLE、PATH、VIEW 或 STREAMING TABLE。 |
TABLE |
target_column_name |
字串 | 目標欄的名稱。 | date |
created_by |
字串 | 產生此譜系的使用者。 這可以是 Azure Databricks 使用者名稱、Azure Databricks 服務主體識別碼「System-User」，或 NULL (無法擷取使用者資訊)。 |
crampton.rods@email.com |
event_time |
timestamp | 產生譜系時的時間戳記。 時區資訊會記錄在值結尾，+00:00 表示 UTC。 |
2023-06-20T19:47:21.194+00:00 |
event_date |
date | 產生譜系的日期。 這是分區的欄位。 | 2023-06-20 |
讀取譜系系統數據表
在分析譜系系統數據表時，請注意下列考慮：
- 針對
entity_type，Azure Databricks 支援 Delta Live Tables、筆記本、工作、Databricks SQL 查詢和儀表板。 不支援來自其他實體的事件。 - 如果您將
entity_type視為null，表示事件中未涉及任何 Azure Databricks 實體。 例如，可能是 JDBC 查詢的結果，或使用者按下 Azure Databricks UI 中的 [範例資料] 索引標籤。 - 若要判斷事件是讀取還是寫入，可檢視來源類型和目標類型。
- 唯讀：來源類型並非 Null，但目標類型為 Null。
- 唯寫：目標類型並非 Null，但來源類型為 Null。
- 讀取和寫入：來源類型和目標類型都不是 Null。
譜系系統數據表範例
作為系統數據表中記錄數據譜系的範例，以下是一個查詢範例，接下來是該查詢所建立的譜系記錄：
CREATE OR REPLACE TABLE car_features
AS SELECT *, in1+in2 as premium_feature_set
FROM car_features_exterior
JOIN car_features_interior
USING(id, model);
system.access.table_lineage 中的記錄看起來就像：
entity_type |
entity_id |
source_table_name |
target_table_name |
created_by |
event_time |
|---|---|---|---|---|---|
NOTEBOOK |
27080565267 |
car_features_exterior |
car_features |
crampton@email.com |
2023-01-25T16:19:58.908+0000 |
NOTEBOOK |
27080565267 |
car_features_interior |
car_features |
crampton@email.com |
2023-01-25T16:19:58.908+0000 |
system.access.column_lineage 中的記錄看起來就像：
entity_type |
entity_id |
source_table_name |
target_table_name |
source_column_name |
target_column_name |
event_time |
|---|---|---|---|---|---|---|
NOTEBOOK |
27080565267 |
car_features_interior |
car_features |
in1 |
premium_feature_set |
2023-01-25T16:19:58.908+0000 |
NOTEBOOK |
27080565267 |
car_features_interior |
car_features |
in2 |
premium_feature_set |
2023-01-25T16:19:58.908+0000 |
注意
上述範例中未顯示所有的譜系欄位。 如需完整的架構，請參閱上述 譜系架構。
針對外部數據表查詢進行疑難解答
當您使用外部數據表的雲端記憶體路徑來參考外部數據表時，相關聯的歷程記錄只會包含路徑名稱，而不是數據表名稱。 例如，此查詢的歷程記錄會包含路徑名稱，而不是資料表名稱：
SELECT * FROM delta.`abfss://my-container-name@storage-account-name.dfs.core.windows.net/table1`;
如果您試著查詢路徑所參考之外部資料表的歷程記錄，則必須使用 source_path 或 target_path 來篩選查詢，而不是使用 source_table_full_name 或 target_table_full_name。 例如，下列查詢會提取外部數據表的所有歷程記錄：
SELECT *
FROM system.access.table_lineage
WHERE
source_path = "abfss://my-container-name@storage-account-name.dfs.core.windows.net/table1" OR
target_path = "abfss://my-container-name@storage-account-name.dfs.core.windows.net/table1";
範例：根據外部數據表名稱擷取歷程記錄
如果您不想手動擷取雲端記憶體路徑以尋找譜系，您可以使用下列函式來使用資料表名稱取得歷程數據。 您也可以在函式中將 system.access.table_lineage 取代為 system.access.column_lineage，如果您想查詢資料行譜系。
def getLineageForTable(table_name):
table_path = spark.sql(f"describe detail {table_name}").select("location").head()[0]
df = spark.read.table("system.access.table_lineage")
return df.where(
(df.source_table_full_name == table_name)
| (df.target_table_full_name == table_name)
| (df.source_path == table_path)
| (df.target_path == table_path)
)
然後使用下列命令來呼叫 函式，並顯示外部資料表的譜系記錄：
display(getLineageForTable("table_name"))