创建环境的快捷方式 Dataverse
跟随本文中的步骤创建并使用 Dataverse 将数据集成到 Microsoft Sustainability Manager Fabric 工作区的快捷方式。 这些步骤还准备数据以转换为环境、社会和治理(ESG)数据模型架构。
先决条件
- 在 Fabric 工作区中部署环境数据和见解功能。
- 确保在环境中安装并设置 Dataverse Sustainability Manager。
- 确保您已管理员安全角色 Dataverse 系统。
- 确保您是 Fabric 工作区的管理员。
- 启用从 Dataverse 环境到 Fabric 的链接。
步骤 1:创建 Dataverse 快捷方式
在此步骤中,您将创建一个快捷方式 Dataverse 环境其中 Sustainability Manager 数据来自 IngestedRawData 湖屋。
打开 Fabric 中您部署可持续发展解决方案的工作区。 要打开解决方案,从列表视图中选择该解决方案。 要访问托管功能页面,请从 Manage deployed capabilities(管理已部署的功能 ) 列表视图中选择 ESG 数据资产功能。
在 ESG 数据资产托管功能页面中,选择 IngestedRawData 湖屋。
- 在湖屋中,选择 获取数据,然后选择 新建快捷方式。
选择 Dataverse 作为快捷方式类型。
此时将显示一个向导,用于设置环境的连接 Dataverse 凭证。 选择 创建新连接 并提供环境 URL 和具有系统管理员权限的凭据。 Fabric 使用这些凭据来设置与 Dataverse 环境的连接并安全地访问数据。
- 从列表中全选 Sustainability Manager 表,然后单击选择 Next。 查找以前缀 msdyn_ 开头的表。
- 此时将显示所选 Sustainability Manager 表及其快捷方式名称的列表。
每个快捷键都是使用 suffix _partitioned 创建的。 要从所有表名称中删除后缀,您可以创建一个笔记本,将 IngestedRawData 湖屋添加到 笔记本,然后运行以下逻辑。 将“[LAKEHOUSE_NAME]”替换为包含 Dataverse 表快捷方式的湖屋名称。 例如, SDS_ESGDE_test_IngestedRawData_LH。
TARGET_DB = "[LAKEHOUSE_NAME]"
DATAVERSE_SHORTCUT_SUFFIX = "_partitioned"
for table in spark.catalog.listTables(TARGET_DB):
if table.name.endswith(DATAVERSE_SHORTCUT_SUFFIX):
updated_table_name = table.name.removesuffix(DATAVERSE_SHORTCUT_SUFFIX)
try:
spark.sql(f"ALTER TABLE {TARGET_DB}.{table.name} RENAME TO {TARGET_DB}.{updated_table_name}")
print(f"Successfully renamed table from '{table.name}' to '{updated_table_name}' in Lakehouse '{TARGET_DB}'")
except Exception as e:
print(f"Failed renaming table from '{table.name}' to '{updated_table_name}' in Lakehouse '{TARGET_DB}'")
这些表现在在 IngestedRawData # 中提供湖屋并准备好转换为 ESG 数据模型。
步骤 2:转换数据
在 Sustainability Manager 数据集成到 IngestedRawData 湖屋后,您需要通过将数据转换为 ESG 数据模型 架构来统一和协调数据。 功能部署在工作区中创建了 ProcessedESGData 湖屋来存储协调数据。
ESG 数据模型 架构将 ESG 数据实体链接到描述公司其他职能领域(如 HR、IT 或财务生产)的其他数据实体。
为了将 Sustainability Manager 数据转换为 ESG 数据模型 架构,该功能提供了笔记本和数据管道,这些笔记本和数据管道使用存储在工作区中 ConfigAndDemoData 湖屋中的库,使用预构建的转换和编排技术。
运行 LoadReferenceTables_INTB 笔记本,将 Sustainability Manager 数据加载并转换为 ProcessedESGData 湖屋中的 ESG 数据模型 架构。
数据管道运行以下步骤:
默认情况下,第一个步骤处于停用状态,此方法不需要,因为 Sustainability Manager 中的数据已加载为湖屋表。
将 Sustainability Manager 数据转换为 ESG 数据模型 架构的过程分为两个阶段:
- 首先, TransformMSMDataToProcessedESGData_INTB 笔记本将数据 Microsoft Sustainability Manager 转换为中间原始数据导入表。
- 然后, TransformRawImportESGDataToProcessedESGData_INTB 笔记本将数据从原始数据导入表转换为 ESG 数据模型 架构。