Ingerir datos con Azure Synapse Link
Seguir los pasos de este artículo para llevar los datos ambientales de su organización desde el modelo de datos Sustainability Manager en Dataverse a IngestedRawData almacén de lago de datos en su espacio de trabajo de Fabric mediante Azure Synapse Link.
Requisitos previos
- Implemente la capacidad de información y datos ambientales en el espacio de trabajo de Fabric.
- Asegúrese de que Microsoft Sustainability Manager esté instalado y configurado en su Dataverse ambiente.
- Asegúrate de tener el sistema Administrador rol de seguridad. Dataverse
- Implemente la capacidad de información y datos ambientales en su espacio de trabajo de Fabric.
- Asegúrese de tener una cuenta de almacenamiento Gen2. Azure Data Lake Storage
- Asegúrate de tener el sistema Administrador rol de seguridad. Dataverse
- Asegúrese de tener una cuenta Gen2 y acceso al rol de Propietario y Datos de blobs de almacenamiento colaborador. Azure Data Lake Storage Su cuenta de almacenamiento debe habilitar el espacio de nombres jerárquico para la configuración inicial y la sincronización delta. Se requiere permitir el acceso a la clave de la cuenta de almacenamiento solo para la configuración inicial.
Paso 1: Configurar Azure Synapse Link
En este paso, configura un Azure Synapse Link para el Sustainability Manager ambiente desde el cual desea incorporar datos al espacio de trabajo de soluciones de datos de sustentabilidad en Fabric.
Abra el portal. Power Apps En la parte superior derecha, Seleccionar su Dataverse ambiente donde está instalado Sustainability Manager.
Seleccionar Azure Synapse Link desde el panel izquierdo y luego Seleccionar New vincular. Si aún no aparece, Seleccionar More, Seleccionar Descubrir todo, Seleccionar Administración de datos, y luego Seleccionar Azure Synapse Link.
Deje Conectar al espacio de trabajo de Azure Synapse Analytics sin marcar. Los scripts de integración y transformación se ejecutan en Fabric, no en Synapse.
Ingrese su cuenta de almacenamiento y los detalles de su suscripción y seleccione Siguiente. Solo puede seleccionar una cuenta de almacenamiento ubicada en la misma ubicación que su entorno. Por ejemplo, si su entorno está en el oeste de EE. UU., su cuenta de almacenamiento debe estar en el oeste de EE. UU. o en el oeste de EE. UU.2.
Seleccionar todo sus Sustainability Manager tablas de la lista y Seleccionar Guardar. Puede filtrar por msdyn_ para ver las tablas relevantes.
Se crea un Azure Synapse Link a su cuenta de almacenamiento y las tablas seleccionadas se exportan a la cuenta de almacenamiento. Puede agregar o eliminar las tablas en vincular volviendo a Azure Synapse Link, seleccionando la vincular que creó y luego seleccionando Administrar tablas.
Abra su cuenta de almacenamiento Gen2 Data Lake proporcionada al crear el vincular en los pasos anteriores. Se crea un nuevo contenedor que comienza con Dataverse- en su cuenta de almacenamiento con todas las tablas seleccionadas exportadas en una estructura de carpetas en formato CSV junto con un archivo model.json que contiene el esquema de todas las tablas. Los datos de Sustainability Manager ahora están disponibles en su propia cuenta de almacenamiento.
Paso 2: Vincular el contenedor de Data Lake Storage
En este paso, usted vincular el contenedor de almacenamiento Data Lake con datos Sustainability Manager a los IngestedRawData almacén de lago de datos de la capacidad implementada mediante la funcionalidad de acceso directo de Fabric.
Abra el espacio de trabajo en Fabric en el que implementó la solución Sustainability. Para abrir la solución, selecciónela de la vista de lista. Seleccionar la capacidad de patrimonio de datos ambientales, sociales y de gobernanza (ESG) de la vista de lista Administrar capacidades implementadas para llegar a la página de capacidad administrada.
Desde la página de capacidad administrada del patrimonio de datos de ESG, Seleccionar los Datos brutos ingeridos almacén de lago de datos.
Seleccione Nuevo atajo en el menú de puntos suspensivos de Archivos. En el cuadro de diálogo Nuevo acceso directo , Seleccionar el mosaico Gen2 y luego proporcione los siguientes detalles de conexión a Conectar el contenedor de almacenamiento Data Lake que tiene los datos Sustainability Manager exportados. Azure Data Lake Storage
- URL: Vaya a la cuenta de almacenamiento Data Lake. En el lado izquierdo, Seleccionar punto de conexión. A continuación, copie el final apuntar para el almacenamiento Data Lake y péguelo en el campo URL .
- Conexión: Seleccionar Crear nueva conexión.
- Tipo de autenticación: Seleccionar Cuenta de organización, inicie sesión en su Data Lake cuenta de almacenamiento y luego Seleccionar Siguiente.
Para el nombre del acceso directo, ingrese MSMData, establezca la ruta secundaria como el nombre del contenedor que contiene los datos de Sustainability Manager con el prefijo / y luego seleccione Crear. Los datos de Sustainability Manager se integran correctamente con el lago de datos en Archivos.
Paso 3: Transformar datos
Después de que los datos Sustainability Manager se integran en IngestedRawData almacén de lago de datos, es necesario unificar y armonizar los datos transformándolos en el esquema del modelo de datos ESG]. La implementación de la capacidad creó los ProcessedESGData almacén de lago de datos en el espacio de trabajo para almacenar los datos armonizados.
El esquema del modelo de datos ESG vincula las entidades de datos ESG con otras entidades de datos que describen otras áreas funcionales de una empresa, como RR.HH., TI o producción financiera.
Para transformar los datos Sustainability Manager al esquema del modelo de datos ESG, la capacidad proporciona cuadernos y canalizaciones de datos que utilizan tecnologías de orquestación y transformación preconstruidas mediante bibliotecas almacenadas en ConfigAndDemoData almacén de lago de datos en su espacio de trabajo.
Active el primer paso y ejecute la canalización de datos TransformMSMDataToProcessedESGData_DTPL para cargar y transformar los datos Sustainability Manager al modelo de datos ESG esquema en los DatosESGProcesados almacén de lago de datos.
La canalización de datos ejecuta estos pasos:
Este paso está desactivado de forma predeterminada y debe activarse antes de ejecutar la canalización. Carga los datos Sustainability Manager vinculados como tablas almacén de lago de datos. Las bibliotecas de transformación requieren que los datos de origen estén en formato de tabla delta. El cuaderno LoadMSMDataToLakehouseTables_INTB carga los datos Sustainability Manager vinculados a las tablas almacén de lago de datos. Después de que este cuaderno se ejecute correctamente, puede validar los datos en las tablas IngestedRawData almacén de lago de datos.
La transformación de los datos Sustainability Manager al esquema del modelo de datos ESG es un proceso de dos etapas: ...
- En primer lugar, el cuaderno TransformMSMDataToProcessedESGData_INTB transforma los Microsoft Sustainability Manager datos en las tablas de importación de datos sin procesar intermedias.
- Luego, el cuaderno TransformRawImportESGDataToProcessedESGData_INTB transforma los datos de las tablas de importación de datos sin procesar al esquema del modelo de datos ESG .
