湖屋部署管道和 git 集成(预览版)

湖屋与 Microsoft Fabric 中的生命周期管理功能集成,在产品整个生命周期内提供所有开发团队成员之间的标准化协作功能。 生命周期管理会持续向多个环境提供功能和 bug 修复,从而促进有效的产品版本控制和发布过程。 若要了解详细信息,请参阅 Microsoft Fabric 中的生命周期管理是什么?

重要

此功能目前为预览版

湖屋 git 集成

湖屋是一个项,其中包含在工作区中的多个对象中引用的元数据和数据。 湖屋包含作为主要可管理数据容器项的表、文件夹和快捷方式。 从开发工作流的角度来看,以下依赖对象可能引用湖屋:

默认语义模型和 SQL 分析终结点元数据与湖屋相关,默认情况下由 git 更新过程管理。 原则上,Git 中不跟踪数据,只跟踪元数据。

Git 表示形式

在 git 连接的工作区中会序列化和跟踪以下湖屋信息:

  • 显示名称
  • 说明
  • 逻辑 guid

注意

跟踪逻辑 guid 是自动生成的跨工作区标识符,表示项及其源代码管理表示形式。

重要

当前版本仅会在 Git 中跟踪湖屋容器项目, “文件”部分中的表(增量和非增量)和文件夹在 git 中不进行跟踪和版本控制

湖屋 git 集成功能

以下功能可用:

  • 将湖屋对象元数据序列化为 git JSON 表示形式。
  • 直接应用更改或使用拉取请求来控制对上游或下游工作区和分支的更改。
  • 在 git 中跟踪湖屋的重命名。 更新重命名的湖屋还会重命名默认语义数据模型和 SQL Analytics 终结点。
  • 不对表和文件夹元数据应用任何操作,并且始终保留这些项目的数据。
  • OneLake 快捷方式元数据 保存在 git 中。

OneLake 快捷方式 Git 集成功能

  • “表和文件”部分中的快捷方式定义存储在 git 的 lakehouse 文件夹下名为 shortcuts.metadata.json 的文件中。
  • 支持并自动跟踪以下操作:添加、删除和更新快捷方式。
  • 可以通过更改 shortcuts.metadata.json 文件,直接在 Fabric 用户界面或 git 存储库中执行这些作。
  • 具有内部目标的快捷方式(OneLake 快捷方式)在 git 同步期间自动更新。 为了使快捷方式有效,这些引用必须是工作区中的有效目标。 如果在湖屋表部分中定义的快捷方式目标无效,这些快捷方式会移动到 Unidentified 部分,直到引用被解析。

重要

直接在 shortcuts.metadata.json 文件中更改 OneLake 快捷方式属性时,请小心。 当更新应用回工作区时,对属性(特别是 GUID)的错误更改可能会使 OneLake 快捷方式无效。

重要

来自 Git 的更新会覆盖工作区中快捷方式的状态。 根据 git 中的传入状态创建、更新或删除工作区中的所有快捷方式。

部署管道中的湖屋

Microsoft Fabric 生命周期管理部署管道支持湖屋。 它支持环境分段最佳做法

湖屋部署管道集成功能:

  • 跨开发、测试和生产工作区进行部署。

  • 在部署湖屋后,可以将湖屋作为依赖对象删除。 还支持在部署管道上下文中映射不同的湖屋。

    • 如果在部署管道配置期间未指定任何内容,则会在目标工作区中创建具有相同名称的全新空湖屋对象。 笔记本和 Spark 作业定义将重新映射为在新工作区中引用新的湖屋对象。

    • 如果在部署管道配置期间将湖屋依赖项配置为引用其他湖屋(例如上游湖屋),则仍会在目标工作区中创建一个具有相同名称的全新空湖屋对象,但笔记本和 Spark 作业定义引用会根据请求保留到其他湖屋

    • SQL Analytics 终结点和语义模型作为湖屋部署的一部分进行预配。

  • 湖屋内没有覆盖任何对象。

  • 可以在部署管道上下文中跨工作区同步对湖屋名称的更新。

部署管道中的 OneLake 快捷方式

  • 在部署管道的各个阶段,快捷方式的定义是同步的。
  • 具有外部目标的快捷方式(ADLS Gen2、S3 等)在部署后的所有阶段都相同。
  • 在同一个工作区内,具有内部目标的快捷方式(OneLake 快捷方式)会在各个阶段之间自动重新映射。 在部署期间,不会重新映射面向 Data Warehouse 和语义模型的快捷方式。 不会在目标工作区中创建表、文件夹和文件。 为了使快捷方式有效,需要在部署后在目标工作区中创建这些引用。
  • 在同一快捷方式在不同阶段需要定位到不同位置的情况下。 例如,在“开发”中,指向 Amazon S3 中的特定文件夹,在“生产”中指向 ADLS Gen2 中的其他文件夹。 部署后,在 Lakehouse 中或直接使用 OneLake API 更新 OneLake 快捷方式定义。

重要

部署将覆盖目标工作区中快捷方式的状态。 目标湖屋中的所有快捷方式都会根据源湖屋的状态进行更新或删除。 会在目标湖屋中创建新的快捷方式。 始终单击“查看更改”,了解将在源工作区和目标工作区之间部署的更改。