创建环境的快捷方式 Dataverse

跟随本文中的步骤创建并使用 Dataverse 将数据集成到 Microsoft Sustainability Manager Fabric 工作区的快捷方式。 这些步骤还准备数据以转换为环境、社会和治理(ESG)数据模型架构。

先决条件

  • 在 Fabric 工作区中部署环境数据和见解功能。
  • 确保在环境中安装并设置 Dataverse Sustainability Manager。
  • 确保您已管理员安全角色 Dataverse 系统。
  • 确保您是 Fabric 工作区的管理员。
  • 启用从 Dataverse 环境到 Fabric 的链接。

步骤 1:创建 Dataverse 快捷方式

在此步骤中,您将创建一个快捷方式 Dataverse 环境其中 Sustainability Manager 数据来自 IngestedRawData 湖屋。

  1. 打开 Fabric 中您部署可持续发展解决方案的工作区。 要打开解决方案,从列表视图中选择该解决方案。 要访问托管功能页面,请从 Manage deployed capabilities(管理已部署的功能 列表视图中选择 ESG 数据资产功能。

  2. 在 ESG 数据资产托管功能页面中,选择 IngestedRawData 湖屋。

选择 IngestedRawData 湖屋的屏幕截图。

  1. 在湖屋中,选择 获取数据,然后选择 新建快捷方式

创建新快捷方式的屏幕截图。

  1. 选择 Dataverse 作为快捷方式类型。

  2. 此时将显示一个向导,用于设置环境的连接 Dataverse 凭证。 选择 创建新连接 并提供环境 URL 和具有系统管理员权限的凭据。 Fabric 使用这些凭据来设置与 Dataverse 环境的连接并安全地访问数据。

连接向导的屏幕截图。

  1. 从列表中全选 Sustainability Manager 表,然后单击选择 Next。 查找以前缀 msdyn_ 开头的表。

搜索 msdyn 的屏幕截图。

  1. 此时将显示所选 Sustainability Manager 表及其快捷方式名称的列表。

每个快捷键都是使用 suffix _partitioned 创建的。 要从所有表名称中删除后缀,您可以创建一个笔记本,将 IngestedRawData 湖屋添加到 笔记本,然后运行以下逻辑。 将“[LAKEHOUSE_NAME]”替换为包含 Dataverse 表快捷方式的湖屋名称。 例如, SDS_ESGDE_test_IngestedRawData_LH

TARGET_DB = "[LAKEHOUSE_NAME]"
DATAVERSE_SHORTCUT_SUFFIX = "_partitioned"

for table in spark.catalog.listTables(TARGET_DB):
    if table.name.endswith(DATAVERSE_SHORTCUT_SUFFIX):
        updated_table_name = table.name.removesuffix(DATAVERSE_SHORTCUT_SUFFIX)
        try:
            spark.sql(f"ALTER TABLE {TARGET_DB}.{table.name} RENAME TO {TARGET_DB}.{updated_table_name}")
            print(f"Successfully renamed table from '{table.name}' to '{updated_table_name}' in Lakehouse '{TARGET_DB}'")
        except Exception as e:
            print(f"Failed renaming table from '{table.name}' to '{updated_table_name}' in Lakehouse '{TARGET_DB}'")      

这些表现在在 IngestedRawData # 中提供湖屋并准备好转换为 ESG 数据模型

步骤 2:转换数据

在 Sustainability Manager 数据集成到 IngestedRawData 湖屋后,您需要通过将数据转换为 ESG 数据模型 架构来统一和协调数据。 功能部署在工作区中创建了 ProcessedESGData 湖屋来存储协调数据。

ESG 数据模型 架构将 ESG 数据实体链接到描述公司其他职能领域(如 HR、IT 或财务生产)的其他数据实体。

为了将 Sustainability Manager 数据转换为 ESG 数据模型 架构,该功能提供了笔记本和数据管道,这些笔记本和数据管道使用存储在工作区中 ConfigAndDemoData 湖屋中的库,使用预构建的转换和编排技术。

运行 LoadReferenceTables_INTB 笔记本,将 Sustainability Manager 数据加载并转换为 ProcessedESGData 湖屋中的 ESG 数据模型 架构。

运行管道的屏幕截图。

数据管道运行以下步骤:

  1. 默认情况下,第一个步骤处于停用状态,此方法不需要,因为 Sustainability Manager 中的数据已加载为湖屋表。

  2. 将 Sustainability Manager 数据转换为 ESG 数据模型 架构的过程分为两个阶段:

  • 首先, TransformMSMDataToProcessedESGData_INTB 笔记本将数据 Microsoft Sustainability Manager 转换为中间原始数据导入表。
  • 然后, TransformRawImportESGDataToProcessedESGData_INTB 笔记本将数据从原始数据导入表转换为 ESG 数据模型 架构。