Delta Lake 資料表格式互操作性
在 Microsoft Fabric 中,Delta Lake 資料表格式是分析的標準。 Delta Lake 是開放原始碼儲存層,可為巨量資料與分析工作負載提供 ACID (不可部分完成性、一致性、隔離性、耐用性) 交易。
所有 Fabric 體驗都會產生和使用 Delta Lake 資料表、推動互通性和統一的產品體驗。 一個計算引擎所產生的 Delta Lake 數據表,例如網狀架構數據倉儲或 Synapse Spark,可由任何其他引擎取用,例如 Power BI。 當您將資料內嵌至 Fabric 時,Fabric 預設會將它儲存為 Delta 資料表。 您可以使用 OneLake 捷徑,輕鬆地整合包含 Delta Lake 資料表的外部資料。
Delta Lake 功能和 Fabric 體驗
為了達到互通性,Delta Lake 功能和 Fabric 功能上的所有 Fabric 體驗都一致。 有些體驗只能寫入 Delta Lake 資料表,有些則只能從中讀取。
- 寫入器:資料倉儲、事件串流和將 Power BI 語意模型導出至 OneLake
- 讀取器:SQL 分析端點和 Power BI Direct Lake 語意模型
- 寫入器和讀取器:Fabric Spark 執行階段、資料流程、資料管線和 Kusto 查詢語言 (KQL) 資料庫
以下矩陣展示了關鍵的 Delta Lake 功能及其在每種 Fabric 功能上的支援。
Fabric 功能 | 以名稱為基礎的資料行對應 | 刪除向量 | V 順序寫入 | 資料表最佳化和維護費用 | 寫入分割區 | 讀取分割區 | 液體群集 | TIMESTAMP_NTZ | Delta 讀取器/寫入器版本和預設資料表功能 |
---|---|---|---|---|---|---|---|---|---|
資料倉儲 Delta Lake 導出 | No | .是 | .是 | 是 | 無 | .是 | 無 | No | 讀取器:3 寫入器:7 刪除向量 |
SQL 分析端點 | Yes | Yes | N/A (不適用) | N/A (不適用) | N/A (不適用) | Yes | 是 | No | N/A (不適用) |
Fabric Spark 運行時間 1.3 | Yes | .是 | .是 | .是 | .是 | .是 | .是 | Yes | 讀取器:1 寫入器:2 |
Fabric Spark 運行時間 1.2 | Yes | .是 | .是 | .是 | .是 | Yes | 是,唯讀 | Yes | 讀取器:1 寫入器:2 |
Fabric Spark 運行時間 1.1 | 是 | 無 | .是 | .是 | .是 | Yes | 是,唯讀 | No | 讀取器:1 寫入器:2 |
資料流程 | Yes | .是 | 是 | 無 | .是 | Yes | 是,唯讀 | No | 讀取器:1 寫入器:2 |
資料管線 | No | 無 | .是 | No | 是,僅覆寫 | Yes | 是,唯讀 | No | 讀取器:1 寫入器:2 |
適用於 Power BI 語意模型的 Direct Lake | Yes | Yes | N/A (不適用) | N/A (不適用) | N/A (不適用) | Yes | 是 | No | N/A (不適用) |
將 Power BI 語意模型導出至 OneLake | Yes | N/A (不適用) | 是 | 無 | Yes | N/A (不適用) | No | No | 讀取器:2 寫入器:5 |
KQL 資料庫 | Yes | 是 | 無 | No* | .是 | 是 | 無 | No | 讀取器:1 寫入器:1 |
EventStreams | No | 無 | 無 | 無 | Yes | N/A (不適用) | No | No | 讀取器:1 寫入器:2 |
* KQL 資料庫提供某些資料表維修功能,例如保留。 資料會在 OneLake 保留期間結束時移除。 如需詳細資訊,請參閱一個邏輯複本。
注意
- Fabric 預設不會寫入基於名稱的資料行對應。 預設 Fabric 體驗會產生跨服務相容的資料表。 第三方服務所產生的 Delta Lake 可能會有不相容的資料表功能。
- 有些 Fabric 體驗沒有繼承資料表最佳化和維修功能,例如間隔壓縮、V 順序,以及清理舊的未參考檔案。 若要讓 Delta Lake 資料表保持最佳分析效果,請遵循在 Fabric 中使用表維修功能管理 Delta 資料表中的技術,用於使用那些體驗內嵌之資料表。
目前的限制
目前,Fabric 不支援下列 Delta Lake 功能:
- Delta Lake 3.x Uniform
- 寫入身分識別資料行 (專屬 Databricks 功能)
- Delta Live Tables (專屬 Databricks 功能)
- 在檢查點檔案上啟用的 RLE (執行長度編碼)
相關內容
- 什麼是 Delta Lake?
- 深入瞭解 Fabric Lakehouse 和 Synapse Spark 中的 Delta Lake 資料表。
- 了解 Power BI 和 Microsoft Fabric 中的 Direct Lake。
- 深入瞭解透過其已發佈的 Delta Lake 記錄從倉儲查詢資料表。