Lakehouse 部署管線和 git 整合(預覽)
Lakehouse 與 Microsoft Fabric 中的生命週期管理功能整合,在整個產品生命週期中提供所有開發小組成員之間的標準化共同作業。 生命週期管理可持續將功能和 Bug 修正傳遞給多個環境,藉此促進有效的產品版本設定和發行程式。 若要深入瞭解,請參閱 什麼是 Microsoft Fabric 中的生命週期管理?。
重要
這項功能處於預覽狀態。
Lakehouse git 整合
Lakehouse 是一個項目,其中包含工作區中多個物件中所參考的中繼資料和資料。 Lakehouse 包含資料表、資料夾和捷徑,做為主要可管理的資料容器項目。 從開發工作流程的觀點來看,下列相依物件可能會參考Lakehouse:
- 資料流 和資料 管線
- Spark 工作定義
- Notebooks
- 語意模型和 Power BI
默認語意模型和 SQL 分析端點中繼資料與 Lakehouse 相關,並預設由 git 更新程式管理。 由於主體 資料不會在 git 中追蹤,只會追蹤中繼資料。
Git 表示
下列 Lakehouse 資訊會在 Git 連線的工作區中串行化及追蹤:
- Display name
- 描述
- 邏輯 guid
注意
追蹤的邏輯 GUID 是自動產生的跨工作區識別碼,代表項目及其原始檔控制表示法。
重要
在目前的體驗中,只有 Lakehouse 容器成品會在 git 中追蹤。 [檔案] 區段中的 Delta 和非 Delta 數據表及資料夾不會在 git中被追蹤或建立版本。
Lakehouse git 整合功能
可以使用以下功能:
- 將 Lakehouse 物件中繼資料串行化為 Git JSON 表示法。
- 直接套用變更或使用提取要求來控制上游或下游工作區和分支的變更。
- 在 git 中會追蹤重新命名 Lakehouses。 更新已重新命名的 Lakehouse 也會重新命名預設語意資料模型和 SQL 分析端點。
- 不會將任何動作套用至數據表和資料夾元資料,而且一律會保留這些項目的數據。
- OneLake 快捷方式元數據 會保留在 git 中。
OneLake 快捷方式 Git 整合功能
- 數據表和檔案區段中的快捷方式定義會儲存在 git 中 lakehouse 資料夾下名為
shortcuts.metadata.json
的檔案中。 - 系統會自動支援並追蹤下列作業:快捷方式 新增、刪除和更新。
- 您可以變更
shortcuts.metadata.json
檔案,直接在 Fabric 使用者介面或 git 存放庫中執行作業。 - 具有內部目標的快捷方式 (OneLake 快捷方式) 會在 Git 同步處理期間自動更新。 為了讓快捷方式有效,這些參考必須是工作區中的有效目標。 如果在 lakehouse 資料表區段中定義的快捷方式目標無效,那些快捷方式會被移至
Unidentified
區段,直到參考得到解析為止。
重要
直接在 shortcuts.metadata.json
檔案中變更 OneLake 快捷方式屬性時,請小心。 當更新套用回工作區時,對屬性的不正確變更,特別是 GUID,可能會使 OneLake 快捷方式無效。
重要
git 的更新會覆寫工作區中的捷徑狀態。 工作區中的所有快捷方式都會根據 Git 的傳入狀態來建立、更新或刪除。
部署管線中的 Lakehouse
Microsoft Fabric 生命週期管理部署管線支援 Lakehouse。 它可啟用環境分割 最佳做法。
Lakehouse 部署管線整合功能:
跨開發、測試和生產工作區進行部署。
在部署時,Lakehouse 可以移除為相依物件。 也支援在部署管線內容中對應不同的 Lakehouse。
如果在部署管線設定期間未指定任何項目,則會在目標工作區中建立具有相同名稱的新空白 Lakehouse 物件。 筆記本和Spark作業定義會重新對應,以參考新工作區中的新Lakehouse物件。
如果 Lakehouse 相依性設定為在部署管線設定期間參考不同的 Lakehouse,例如上游 Lakehouse,目標工作區中仍會建立具有相同名稱的新空白 Lakehouse 物件, 但 Notebooks 和 Spark 作業定義參考會保留至不同的 Lakehouse 要求。
SQL 分析端點和語意模型會布建為 Lakehouse 部署的一部分。
Lakehouse 內不會覆寫任何物件。
您可以在部署管線內容中的工作區之間同步處理 Lakehouse 名稱的更新。
部署管線中的 OneLake 快捷方式
- 快捷方式定義會跨部署管線中的階段進行同步處理。
- 具有外部目標的快捷方式(ADLS Gen2、S3 等)在部署后的所有階段都相同。
- 相同工作區中具有內部目標的快捷方式(OneLake 快捷方式)會自動跨階段重新對應。 以數據倉儲和語意模型為目標的捷徑在部署期間不會重新映射。 數據表、資料夾和檔案不會在目標工作區中建立。 為了讓快捷方式有效,必須在部署之後,在目標工作區中建立這些參考。
- 當需要將相同的快捷方式設定為在不同階段的不同位置為目標的情境下。 例如,在 [開發] 中,指向 Amazon S3 中的特定資料夾,然後在 Production 中指向 ADLS Gen2 中的不同資料夾。 部署之後,請在 Lakehouse 中更新 OneLake 快捷方式定義,或使用 OneLake API 直接更新。
重要
部署 會覆寫目標工作區中的快捷方式狀態。 目標 Lakehouse 中的所有快捷方式都會根據來源 Lakehouse 中的狀態更新或刪除。 目標 Lakehouse 中會建立新的快捷方式。 請一律按兩下 [檢閱變更],以瞭解將在來源和目標工作區之間部署的變更。