DLT 技術的限制
以下是當您開發管線時必須知道的 DLT 限制:
- Azure Databricks 工作區的上限是 100 個並行管線更新。 單一管線可以包含的數據集數目取決於管線組態和工作負載複雜度。
- DLT 資料集只能定義一次。 因此,它們只能成為所有 DLT 管線中單一作業的目標。 例外狀況是具有附加流程處理的串流數據表,可讓您從多個串流來源寫入串流數據表。 請參閱 使用附加流從多個來源流寫入串流表。
- 識別欄具有下列限制。 若要深入瞭解 Delta 數據表中的識別數據行,請參閱 在 Delta Lake中使用識別數據行。
- 識別欄位不支援 套用變更 處理的目標資料表。
- 在更新實體化視圖時,識別欄位可能會重新計算。 因此,Databricks 建議只搭配串流數據表使用 DLT 中的識別數據行。
- 從 DLT 管線發佈的具體化檢視和串流數據表,包括 Databricks SQL 所建立的檢視和串流數據表,只能由 Azure Databricks 用戶端和應用程式存取。 不過,若要讓您的具體化檢視和串流數據表可供外部存取,您可以使用 DLT
sink
API 來寫入外部 Delta 實例中的數據表。 請參閱 使用 DLT 匯端將記錄串流至外部服務。 - 您無法使用 Delta Sharing 來分享由 DLT 管線建立的具現化檢視和串流表格。
- 執行和查詢 Unity Catalog 管線所需的 Databricks 計算有一些限制。 請參閱發佈至 Unity 目錄之管線 需求。
- 只有管線擁有者可以存取管線的事件記錄檔。 請參閱 查詢事件記錄檔。
- Delta Lake 時間移動查詢僅支援串流數據表,而且 具體化檢視不支援。 請參閱 使用 Delta Lake 表的歷程記錄。
- 您無法在 DLT 管線所建立的具體化檢視和串流數據表上啟用 Iceberg 讀取。