如何将世系从 Azure Synapse Analytics 获取到 Microsoft Purview

本文档介绍将Azure Synapse工作区与 Microsoft Purview 帐户连接以跟踪数据世系引入数据源所需的步骤。 本文档还详细介绍了活动覆盖范围和支持的世系功能。

将 Azure Synapse Analytics 连接到 Microsoft Purview 时,每当运行受支持的管道活动时,有关活动的源数据、输出数据和活动的元数据将自动引入Microsoft Purview 数据映射。

如果已扫描数据源并存在于数据映射中,则引入过程会将 Azure Synapse Analytics 中的世系信息添加到该现有源。 如果数据映射中不存在源或输出,并且受 Azure Synapse Analytics 世系Microsoft Purview 会自动将其元数据从 Synapse Analytics 添加到默认域根集合下的数据映射中。

在用户使用 Azure Synapse Analytics 移动和转换信息时,这是监视数据资产的绝佳方法。

支持的Azure Synapse功能

目前,Microsoft Purview 从以下Azure Synapse管道活动捕获运行时世系:

重要

如果源或目标使用不受支持的数据存储系统,Microsoft Purview 会删除世系。

复制活动支持

数据存储 支持
Azure Blob 存储
Azure 认知搜索
Azure Cosmos DB for NoSQL *
Azure Cosmos DB for MongoDB *
Azure 数据资源管理器 *
Azure Data Lake Storage Gen1
Azure Data Lake Storage Gen2
Azure Database for MariaDB *
Azure Database for MySQL *
Azure Database for PostgreSQL *
Azure 文件
Azure SQL数据库 *
Azure SQL 托管实例 *
Azure Synapse Analytics *
Azure 专用 SQL 池 (以前为 SQL DW) *
Azure 表存储
Amazon S3
蜂房*
神谕*
连接到 SAP ECC 或 SAP S/4HANA) 时的 SAP 表 (
SQL Server *
Teradata *

* Microsoft Purview 目前不支持用于世系或扫描的查询或存储过程。 世系仅限于表和视图源。

如果使用自承载Integration Runtime,请注意支持以下沿袭的最低版本:

  • 任何用例:版本 5.9.7885.3 或更高版本
  • 从 Oracle 复制数据:版本 5.10 或更高版本
  • 通过 COPY 命令或 PolyBase 将数据复制到 Azure Synapse Analytics:版本 5.10 或更高版本

复制活动世系的限制

目前,如果使用以下复制活动功能,则尚不支持世系:

  • 使用二进制格式将数据复制到 Azure Data Lake Storage Gen1 中。
  • 二进制、分隔文本、Excel、JSON 和 XML 文件的压缩设置。
  • Azure SQL Database、Azure SQL 托管实例、Azure Synapse Analytics、SQL Server 和 SAP 表的源分区选项。
  • 将数据复制到基于文件的接收器,并设置每个文件的最大行数。
  • 当源/接收器是 资源集时,复制活动当前不支持列级世系。

除了世系, (“资产 -> 架构”选项卡中显示的数据资产架构) 针对以下连接器进行报告:

  • Azure Blob、Azure 文件存储、ADLS Gen1、ADLS Gen2 和 Amazon S3 上的 CSV 和 Parquet 文件
  • Azure 数据资源管理器、Azure SQL Database、Azure SQL 托管实例、Azure Synapse Analytics、SQL Server、Teradata

数据流支持

数据存储 支持
Azure Blob 存储
Azure Cosmos DB for NoSQL *
Azure Data Lake Storage Gen1
Azure Data Lake Storage Gen2
Azure Database for MySQL *
Azure Database for PostgreSQL *
Azure SQL数据库 *
Azure SQL 托管实例 *
Azure Synapse Analytics *
Azure 专用 SQL 池 (以前为 SQL DW) *

* Microsoft Purview 目前不支持用于世系或扫描的查询或存储过程。 世系仅限于表和视图源。

数据流世系的限制

  • 数据流世系可能会生成文件夹级 资源集 ,而无法查看所涉及的文件。
  • 当源/接收器 设置为资源时,当前不支持列级世系。
  • 对于数据流活动的世系,Microsoft Purview 仅支持显示涉及的源和接收器。 尚不支持数据流转换的详细世系。
  • 流是 数据流的一部分时,不支持世系。
  • 目前,Purview 不支持 Synapse 表的世系报告 (LakeHouse DB/Workspace DB)

访问受保护的 Microsoft Purview 帐户

如果Microsoft Purview 帐户受防火墙保护,请了解如何让Azure Synapse通过 Microsoft Purview 专用终结点访问受保护的 Microsoft Purview 帐户。

将Azure Synapse世系引入Microsoft Purview

步骤 1:将Azure Synapse工作区连接到 Microsoft Purview 帐户

可以将Azure Synapse工作区连接到 Microsoft Purview,并且该连接使Azure Synapse能够将世系信息推送到 Microsoft Purview。 按照 连接 Synapse 工作区中的步骤操作,Microsoft Purview。 多个Azure Synapse工作区可以连接到单个 Microsoft Purview 帐户,以便进行整体世系跟踪。

步骤 2:在Azure Synapse工作区中运行管道

可以在Azure Synapse工作区中使用复制活动创建管道。 不需要任何其他配置来捕获世系数据。 在活动执行期间,将自动捕获世系数据。

步骤 3:监视世系报告状态

运行Azure Synapse管道后,在 Synapse 管道监视视图中,可以通过选择以下世系状态按钮来检查世系报告状态。 活动输出 JSON ->reportLineageToPurvew 节中也提供了相同的信息。

在管道监视视图中监视世系报告状态。

步骤 4:查看 Microsoft Purview 帐户中的世系信息

在 Microsoft Purview 帐户中,可以浏览资产并选择类型“Azure Synapse Analytics”。 还可以使用关键字搜索数据目录。

浏览 Microsoft Purview 中的Azure Synapse资产。

选择 Synapse 帐户 -> 管道 -> 活动,可以查看世系信息。

浏览 Microsoft Purview 中的Azure Synapse管道世系。

在 Microsoft Purview 治理门户中,可以监视 Azure Synapse Analytics 链接

后续步骤

目录世系用户指南

链接到 Azure Data Share的世系