镜像 Azure Databricks Unity Catalog(预览版)

如今,许多组织都在 Azure Databricks 中的 Unity Catalog 中注册其数据。 Fabric 中的镜像 Unity Catalog 使客户能够从 Fabric 工作负载中读取由 Unity Catalog 管理的数据。 Azure Databricks 和 Fabric 结合使用效果更佳。

有关配置 Azure Databricks 工作区以将 Unity Catalog 镜像到 Fabric 的教程,请参阅教程:配置来自 Azure Databricks 的 Microsoft Fabric 镜像数据库(预览版)

Fabric 中的镜像数据库使用户可以使用到一款高度集成、端到端且易于使用的产品,该产品旨在简化分析需求。 你可以使用到一款易于使用的产品,该产品旨在简化分析需求,并为实现 Microsoft Fabric 和 Azure Databricks 之间的开放性和协作而构建。

使用 Fabric 读取在 Unity Catalog 中注册的数据时,没有数据移动或数据复制。 只有 Azure Databricks 目录结构会镜像到 Fabric,并且底层目录数据可通过快捷方式访问。 因此,数据中的任何更改都会立即反映在 Fabric 中。

内置了哪些分析体验

镜像目录是 Fabric 数据仓库中的一个项目,有别于“仓库”和“SQL 分析终结点”。

镜像 Azure Databricks Unity 目录时,Fabric 会创建三个项目:

可以通过多种方式访问​​镜像 Azure Databricks 数据:

  • 每个镜像 Azure Databricks 项目都有一个自动生成的 SQL 分析终结点,可提供镜像过程创建的丰富分析体验。 使用 T-SQL 命令从只读 SQL 分析终结点定义和查询数据对象。
  • 使用 Power BI 和 Direct Lake 模式,针对 Azure Databricks 项目创建报告。

元数据同步

从 Fabric 中的 Azure Databricks 创建新的镜像数据库时,默认情况下,将启用“自动同步所选架构的未来目录更改”。 如果启用了自动同步,则会将以下元数据更改从 Azure Databricks 工作区反映到 Fabric:

  • 向目录添加架构。
  • 从目录中删除架构。
  • 向架构添加表。
  • 从架构中删除表。

架构/表选择:

  • 默认情况下,用户添加目录时,会选择整个目录。
  • 用户可以排除架构中的某些表。
  • 取消选择架构会取消选择架构中的所有表。
  • 如果用户返回并选择架构,则会再次选择架构中的所有表。
  • 相同的选择行为适用于目录中的架构。

还有其他适用于目录/架构/表的筛选条件:

  • 具体化视图和流式处理表将不会显示。
  • 不支持 Delta 格式的外部表将不会显示。