镜像 Azure Databricks Unity Catalog(预览版)
如今,许多组织都在 Azure Databricks 中的 Unity Catalog 中注册其数据。 Fabric 中的镜像 Unity Catalog 使客户能够从 Fabric 工作负载中读取由 Unity Catalog 管理的数据。 Azure Databricks 和 Fabric 结合使用效果更佳。
有关配置 Azure Databricks 工作区以将 Unity Catalog 镜像到 Fabric 的教程,请参阅教程:配置来自 Azure Databricks 的 Microsoft Fabric 镜像数据库(预览版)。
Fabric 中的镜像数据库使用户可以使用到一款高度集成、端到端且易于使用的产品,该产品旨在简化分析需求。 你可以使用到一款易于使用的产品,该产品旨在简化分析需求,并为实现 Microsoft Fabric 和 Azure Databricks 之间的开放性和协作而构建。
使用 Fabric 读取在 Unity Catalog 中注册的数据时,没有数据移动或数据复制。 只有 Azure Databricks 目录结构会镜像到 Fabric,并且底层目录数据可通过快捷方式访问。 因此,数据中的任何更改都会立即反映在 Fabric 中。
内置了哪些分析体验
镜像目录是 Fabric 数据仓库中的一个项目,有别于“仓库”和“SQL 分析终结点”。
镜像 Azure Databricks Unity 目录时,Fabric 会创建三个项目:
- 镜像 Azure Databricks 项目
- 湖屋的 SQL 分析终结点
- 默认语义模型
可以通过多种方式访问镜像 Azure Databricks 数据:
- 每个镜像 Azure Databricks 项目都有一个自动生成的 SQL 分析终结点,可提供镜像过程创建的丰富分析体验。 使用 T-SQL 命令从只读 SQL 分析终结点定义和查询数据对象。
- 使用 Power BI 和 Direct Lake 模式,针对 Azure Databricks 项目创建报告。
元数据同步
从 Fabric 中的 Azure Databricks 创建新的镜像数据库时,默认情况下,将启用“自动同步所选架构的未来目录更改”。 如果启用了自动同步,则会将以下元数据更改从 Azure Databricks 工作区反映到 Fabric:
- 向目录添加架构。
- 从目录中删除架构。
- 向架构添加表。
- 从架构中删除表。
架构/表选择:
- 默认情况下,用户添加目录时,会选择整个目录。
- 用户可以排除架构中的某些表。
- 取消选择架构会取消选择架构中的所有表。
- 如果用户返回并选择架构,则会再次选择架构中的所有表。
- 相同的选择行为适用于目录中的架构。
还有其他适用于目录/架构/表的筛选条件:
- 具体化视图和流式处理表将不会显示。
- 不支持 Delta 格式的外部表将不会显示。