Crea un acceso directo a Dataverse ambiente
Seguir los pasos de este artículo para crear y usar un acceso directo para integrar datos en su espacio de trabajo de Fabric. Dataverse Microsoft Sustainability Manager Estos pasos también preparan los datos para su transformación en el esquema del modelo de datos ambientales, sociales y de gobernanza (ESG).
Requisitos previos
- Implemente la capacidad de información y datos ambientales en el espacio de trabajo de Fabric.
- Asegúrese de que Sustainability Manager esté instalado y configurado en suambiente. Dataverse
- Asegúrate de tener el sistema Administrador rol de seguridad. Dataverse
- Asegúrate de ser un Administrador del espacio de trabajo de Fabric.
- Habilite vincular para Fabric desde ambiente. Dataverse
Paso 1: Crea un acceso directo Dataverse
En este paso, crea un acceso directo a ambiente donde están presentes los datos de Sustainability Manager desde almacén de lago de datos. Dataverse
Abra el espacio de trabajo en Fabric en el que implementó la solución Sustainability. Para abrir la solución, selecciónela de la vista de lista. Para llegar a la página de capacidad administrada, Seleccionar la capacidad del patrimonio de datos ESG desde la vista de lista Administrar capacidades implementadas .
Desde la página de capacidad administrada del patrimonio de datos de ESG, Seleccionar los Datos brutos ingeridos almacén de lago de datos.
- Desde almacén de lago de datos, Seleccionar Obtener datos, y luego Seleccionar Nuevo acceso directo.
Seleccionar Dataverse como tipo de acceso directo.
Aparecerá un asistente para configurar sus credenciales de conexión para el Dataverse ambiente. Seleccionar Crear nueva conexión y proporcionar la URL ambiente y las credenciales con permisos del sistema Administrador. Fabric utiliza estas credenciales para configurar la conexión a ambiente y acceder de forma segura a los datos. Dataverse
- Seleccionar todo las Sustainability Manager tablas de la lista y luego Seleccionar Siguiente. Busque las tablas que comiencen con el prefijo msdyn_.
- Aparece la lista de tablas Sustainability Manager seleccionadas y sus nombres de acceso directo.
Cada acceso directo se crea con el sufijo _partitioned. Para eliminar el sufijo de todos los nombres de tabla, puede crear un cuaderno, agregar IngestedRawData almacén de lago de datos al cuaderno y luego ejecutar la siguiente lógica. Reemplace "[LAKEHOUSE_NAME]" con el nombre almacén de lago de datos que contiene los accesos directos de la tabla. Dataverse Por ejemplo, SDS_ESGDE_test_IngestedRawData_LH.
TARGET_DB = "[LAKEHOUSE_NAME]"
DATAVERSE_SHORTCUT_SUFFIX = "_partitioned"
for table in spark.catalog.listTables(TARGET_DB):
if table.name.endswith(DATAVERSE_SHORTCUT_SUFFIX):
updated_table_name = table.name.removesuffix(DATAVERSE_SHORTCUT_SUFFIX)
try:
spark.sql(f"ALTER TABLE {TARGET_DB}.{table.name} RENAME TO {TARGET_DB}.{updated_table_name}")
print(f"Successfully renamed table from '{table.name}' to '{updated_table_name}' in Lakehouse '{TARGET_DB}'")
except Exception as e:
print(f"Failed renaming table from '{table.name}' to '{updated_table_name}' in Lakehouse '{TARGET_DB}'")
Las tablas ahora están disponibles en IngestedRawData almacén de lago de datos y están listas para ser transformadas en el modelo de datos ESG.
Paso 2: Transformar datos
Después de que los datos Sustainability Manager se integran en los IngestedRawData almacén de lago de datos, es necesario unificar y armonizar los datos transformándolos en el esquema del modelo de datos ESG . La implementación de la capacidad creó los ProcessedESGData almacén de lago de datos en el espacio de trabajo para almacenar los datos armonizados.
El esquema del modelo de datos ESG vincula las entidades de datos ESG con otras entidades de datos que describen otras áreas funcionales de una empresa, como RR.HH., TI o producción financiera.
Para transformar los datos Sustainability Manager al esquema del modelo de datos ESG, la capacidad proporciona cuadernos y canalizaciones de datos que utilizan tecnologías de orquestación y transformación preconstruidas mediante bibliotecas almacenadas en ConfigAndDemoData almacén de lago de datos en su espacio de trabajo.
Ejecute el cuaderno LoadReferenceTables_INTB para cargar y transformar los datos Sustainability Manager al esquema del modelo de datos ESG en ProcessedESGData almacén de lago de datos.
La canalización de datos ejecuta estos pasos:
El primer paso está desactivado de forma predeterminada y no es necesario para este método, porque los datos de Sustainability Manager ya están cargados como tablas almacén de lago de datos.
La transformación de los datos Sustainability Manager al esquema del modelo de datos ESG es un proceso de dos etapas: ...
- En primer lugar, el cuaderno TransformMSMDataToProcessedESGData_INTB transforma los Microsoft Sustainability Manager datos en las tablas de importación de datos sin procesar intermedias.
- Luego, el cuaderno TransformRawImportESGDataToProcessedESGData_INTB transforma los datos de las tablas de importación de datos sin procesar al esquema del modelo de datos ESG .
