Microsoft網狀架構決策指南:在倉儲與 Lakehouse 之間選擇
Microsoft Fabric 提供兩個企業級開放標準格式的數據記憶體工作負載:Warehouse 和 Lakehouse。 本文會比較這兩個平臺和每個平台的決策點。
標準
沒有程式代碼或 Pro Code 解決方案:您要如何開發?
- 火花
- 使用 Lakehouse
- T-SQL
- 使用 倉庫
倉儲需求:您需要多數據表的交易處理嗎?
- 是的
- 使用 倉儲
- 不
- 使用 Lakehouse
數據複雜度:您要分析的數據類型為何?
- 不知道
- 使用 Lakehouse
- 非結構化和結構化數據
- 使用 Lakehouse
- 僅限結構化數據
- 使用 倉儲
選擇可選服務
執行服務的詳細評估,以確認它符合您的需求。
Fabric 數據倉儲中的 倉儲 專案是具有開放式標準格式的企業規模數據倉儲。
- 不需要複雜的設定,只需最少的安裝和部署即可達到高效能,亦無需配置計算或儲存資源。
- 初學者和經驗豐富的數據專業人員的簡單和直覺式倉儲體驗(無/專業程序代碼)。
- 以 Lake 為中心的倉儲會以開放式 Delta 格式將數據儲存在 OneLake 中,並輕鬆進行數據復原和管理。
- 與所有Fabric工作負載完全整合。
- 大規模載入和轉換數據,並具有SQL引擎提供的完整多數據表交易式保證。
- 具有跨資料庫查詢和完全整合語意層的虛擬倉儲。
- 具有端對端效能和使用可見性的企業就緒平臺,內建治理和安全性。
- 彈性地根據組織需求來建置數據倉儲或數據網格,以及選擇無程式代碼、低程式代碼或 T-SQL 來進行轉換。
Fabric Data Engineering 中的 Lakehouse 專案是一個數據架構平臺,用於在單一位置儲存、管理和分析結構化和非結構化數據。
- 將結構化和非結構化數據儲存、管理及分析於單一位置,以取得深入解析並更快速且有效率地做出決策。
- 彈性且可調整的解決方案,可讓組織處理各種類型和大小的大量數據。
- 輕鬆地從多樣化的來源導入數據,這些數據會轉換為統一的 Delta 格式。
- 針對資料工程師和資料科學家,自動化資料表的探索與註冊,提供全程管理的從檔案到資料表的作業流程。
- 自動化 SQL 分析端點和預設資料集,允許在資料湖中對 Delta 表進行 T-SQL 查詢。
這兩者都包含在Power BI Premium或 Fabric 容量中。
比較不同的倉儲功能
下表比較 Warehouse 與 Lakehouse 的 SQL 分析端點。
Microsoft Fabric 產品
倉儲
Lakehouse SQL 分析端點
主要功能
具備 ACID 相容性的完整資料倉儲,並在 T-SQL 中提供完整的交易支援。
只讀,系統為 Lakehouse 產生 SQL 分析端點以進行 T-SQL 查詢和服務。 支援對 Lakehouse Delta 資料表的分析,以及透過 快捷方式參考的 Delta Lake 資料夾,。
開發者檔案
SQL 開發人員或公民開發人員
數據工程師或 SQL 開發人員
數據載入
SQL、管線、數據流
Spark、管線、數據流、快捷方式
Delta 表格支援
讀取和寫入 Delta 數據表
讀取增量數據表
儲存層
開放資料格式 - Delta
開放資料格式 - Delta
建議的使用案例
- 企業使用的數據倉儲
- 支援部門、業務單位或自助使用的數據倉儲
- T-SQL 中具有數據表、檢視、程式和函式的結構化數據分析,以及 BI 的進階 SQL 支援
- 探索和查詢 Lakehouse 中的 Delta 表
- 用於分析的暫存數據和封存區域
- 獎章湖屋建築,區域用於銅牌、銀牌和金牌分析
- 與數據倉庫結合以用於企業分析案例
開發體驗
- 倉儲編輯器,完全支援 T-SQL 數據擷取、模型化、開發和查詢 UI 體驗,以進行數據擷取、模型化和查詢
- 第一方和第三方工具的讀取/寫入支援
- Lakehouse SQL 分析端點,對檢視、數據表值函式和 SQL 查詢的 T-SQL 支援有限
- 模型化和查詢的UI體驗
- 第一方和第三方工具的 T-SQL 支援有限
T-SQL 功能
完整 DQL、DML 和 DDL T-SQL 支援、完整交易支援
完整 DQL、無 DML、有限的 DDL T-SQL 支援,例如 SQL 檢視和 TVF