Creación de un Azure Synapse Link for Dataverse con Azure Data Lake

Artículo
05/06/2024

Puede usar Azure Synapse Link para conectar sus datos de Microsoft Dataverse a Azure Data Lake Storage Gen2 para habilitar varios escenarios de análisis. Este artículo muestra cómo realizar las siguientes tareas:

Conecte sus datos de Dataverse a su cuenta de Azure Data Lake Storage Gen2 con el servicio Azure Synapse Link.
Administrar tablas de Dataverse incluidas en Azure Synapse Link.
Supervise su Azure Synapse Link.
Desvincule su Azure Synapse Link.
Vuelva a vincular su Azure Synapse Link.
Vea sus datos en Azure Data Lake y comprenda la estructura de archivos.

Nota

Azure Synapse Link for Dataverse anteriormente se llamaba Exportar a lago de datos. El servicio cambió de nombre a partir de mayo de 2021 y continuará exportando datos a Azure Data Lake, así como Azure Synapse Analytics.

Requisitos previos

Azure Data Lake Storage Gen2: debe tener una cuenta de Azure Data Lake Storage Gen2 y el acceso a los roles Propietario y Colaborador de datos de Storage Blob. Su cuenta de almacenamiento debe habilitar el espacio de nombres jerárquico para la configuración inicial y la sincronización delta. Se requiere permitir el acceso a la clave de la cuenta de almacenamiento solo para la configuración inicial.

Nota

La cuenta de almacenamiento se debe crear en el mismo inquilino de Microsoft Entra que su inquilino de Power Apps.
Para configurar Habilitado desde redes virtuales y direcciones IP seleccionadas para que la cuenta de almacenamiento vinculada otorgue acceso desde direcciones IP seleccionadas, debe crear un Azure Synapse Link con identidades administradas.Utilice identidades administradas para Azure con su Azure data lake storage (sin configurar identidades administradas, debe habilitar el acceso a la red pública para los recursos de Azure tanto para la configuración inicial como para la sincronización delta).
Debe tener el rol Lector de acceso al grupo de recursos con la cuenta de almacenamiento.
Para vincular el entorno a Azure Data Lake Storage Gen2, debe tener el rol de seguridad Administrador del sistema de Dataverse.
Solo las tablas que tienen el seguimiento de cambios habilitado se pueden exportarse.
La creación de perfiles Azure Synapse Link bajo un único entorno Dataverse está limitada a un máximo de 10.

Conectar Dataverse con Azure Data Lake Storage Gen2

Inicie sesión en Power Apps y seleccione su entorno preferido.
En el panel de navegación izquierdo, seleccione Azure Synapse Link. Si Azure Synapse Link no está visible en el panel lateral, seleccione …Más y seleccione Descubrir todo. Azure Synapse Link está en la sección Administración de datos.
En la barra de comandos, seleccione + Nuevo enlace al lago de datos.
Seleccione Suscripción, Grupo de recursos y Cuenta de almacenamiento. Asegúrese de que la cuenta de almacenamiento cumpla con los requisitos especificados en la sección Prerrequisitos. Seleccione Siguiente.

Nota

Como parte de vincular el entorno a un lago de datos, conceda el acceso al servicio de Azure Synapse Link a su cuenta de almacenamiento. Asegúrese de seguir los prerrequisitos de crear y configurar la cuenta Azure Data Lake Storage y otorgarse un rol de propietario en la cuenta de almacenamiento. Además, otorgue el acceso al servicio de flujo de datos de Power Platform a su cuenta de almacenamiento. Más información Preparación de los datos de autoservicio con flujos de datos.
Agregue las tablas que desea exportar y luego seleccione Guardar. Solo las tablas que tienen el seguimiento de cambios habilitado se pueden exportarse. Más información: Habilitar el seguimiento de cambios.

Puede seguir los pasos de este artículo para crear un vínculo desde un entorno de a varios lagos de datos de Azure en su suscripción de Azure. Del mismo modo, puede crear un vínculo desde varios entornos al mismo Azure Data Lake, todo dentro del mismo inquilino.

Nota

El servicio Azure Synapse Link for Dataverse se integra perfectamente en Power Platform como una característica lista para usar. Cumple con los estándares de seguridad y gobernanza establecidos para el almacenamiento y gobernanza de datos de Power Platform. Más información: Almacenamiento y gobernanza de datos

Los datos exportados por el servicio Azure Synapse Link se cifran en tránsito mediante Transport Layer Security (TLS) 1.2 o superior y se cifran en reposo en Azure Data Lake Storage Gen2. Además, los datos transitorios en el Blob Storage también se cifran en reposo. El cifrado en Azure Data Lake Storage Gen2 lo ayuda a proteger sus datos, implementar políticas de seguridad empresarial y cumplir con los requisitos de cumplimiento normativo. Más información: Encriptación de datos en reposo de Azure

Administrar datos de tablas en el lago de datos

Una vez que haya configurado Azure Synapse Link, puede administrar las tablas que se exportan de una de estas dos formas:

En Power Apps Maker Portal, en la zona Azure Synapse Link, seleccione Administrar tablas en la barra de comandos para agregar o eliminar una o más tablas vinculadas.
En el área Tablas de Power Apps Maker Portal, seleccione ... junto a una tabla y luego seleccione el data lake vinculado donde desea exportar los datos de la tabla.

Supervise su Azure Synapse Link

Después de configurar Azure Synapse Link, puede supervisar Azure Synapse Link bajo la pestaña Tablas.

Supervisión de Azure Synapse Link

Habrá una lista de tablas que son parte del seleccionado Azure Synapse Link.
Hay diferentes etapas por las que circula el estado de sincronización. NotStarted indica que la tabla está esperando ser sincronizada. Una vez que se ha Completado la sincronización inicial de la tabla, habrá una etapa de procesamiento posterior en la que no se realizarán actualizaciones incrementales. Puede tardar varias horas, en función del tamaño de los datos. A medida que comiencen a realizarse las actualizaciones incrementales, la fecha de la última sincronización se actualizará periódicamente.
La columna Cuenta muestra el número de filas escritas. Cuando Solo anexar se establece en No, este es el número total de registros. Cuando Solo anexar se establece en Sí, este es el número total de cambios.
Las columnas Solo anexar y Estrategia de partición muestran el uso de diferentes configuraciones avanzadas.

Desvincular Azure Synapse Link

Seleccione Azure Synapse Link deseado para desvincular.
Seleccione Desvincular lago de datos desde la barra de comandos.
Para eliminar el sistema de archivos de Data Lake, seleccione Eliminar el sistema de archivos de lago de datos.
Seleccione Sí y espere unos minutos para que todo se desvincule y elimine.

Volver a vincular un Azure Synapse Link

Si eliminó el sistema de archivos al desvincular, siga los pasos anteriores para volver a vincular el mismo lago de datos. Si no eliminó el sistema de archivos al desvincular, debe borrar los datos para volver a vincular:

Vaya a Azure Data Lake.
Borre el contenedor de Dataverse.
Vaya a Power Apps y vuelva a vincular el lago de datos.

Ver sus datos en Azure Data Lake Storage Gen2

Seleccione el Azure Synapse Link deseado y seleccione luego Ir a Azure Data Lake desde el panel superior.
Expanda Sistemas de archivos y luego seleccione dataverse-environmentName-organizationUniqueName.

El archivo model.json, junto con su nombre y versión, proporciona una lista de tablas que se han exportado al lago de datos. El archivo model.json también incluye el estado de sincronización inicial y el tiempo de realización de la sincronización.

Se muestra una carpeta que incluye archivos de instantánea delimitados por comas (formato CSV) para cada tabla exportada al lago de datos. Datos de la tabla en el lago de datos.

Vincular un espacio de trabajo de Synapse a un perfil existente de Azure Synapse Link solo con lago de datos

En la barra de direcciones de su navegador web, agregue ?athena.updateLake=true a la dirección web que termina en exporttodatalake.
Seleccione un perfil existente del área Azure Synapse Link y luego seleccione la opción extendida.
Seleccione Vincular a espacio de trabajo de Azure Synapse Analytics y espere unos minutos para que todo se vincule.

Continuas actualizaciones de instantáneas

Los datos de Microsoft Dataverse pueden cambiar continuamente mediante la creación, actualización y eliminación de transacciones. Las instantáneas proporcionan una copia de datos de solo lectura que se actualiza a intervalos regulares, en este caso, cada hora. Esto garantiza que, en un momento punto dado, un consumidor de análisis de datos pueda consumir datos de manera fiable en el lago.

Continuas actualizaciones de instantáneas.

Cuando se agregan tablas como parte de la exportación inicial, los datos de la tabla se escriben en los archivos table.csv en las carpetas correspondientes en el lago de datos. Este es el intervalo T1, donde se crea un archivo de solo lectura de instantánea llamado tabla-T1.csv—, por ejemplo, Account-T1.csv o Contacts-T1.csv—. Además, el archivo model.json se actualiza para que apunte a estos archivos de instantáneas. Al abrir el archivo model.json, puede ver los detalles de la instantánea.

Aquí se muestra un ejemplo del archivo particionado Account.csv y la carpeta de instantáneas en el lago de datos.

Instantánea de la tabla de cuentas.

Los cambios en Dataverse se insertan continuamente en los archivos CSV correspondientes utilizando el motor de alimentación por goteo. Este es el intervalo T2, donde se toma otra instantánea. tabla-T2.csv—, por ejemplo, Cuentas-T2.csv o Contactos-T2.csv (asumiendo que hay cambios para la tabla) —y model.json se actualizan según los nuevos archivos de instantáneas. Cualquier persona nueva que vea datos de instantáneas desde T2 en adelante se dirige a los archivos de instantáneas más nuevos. De esta manera, el visor de instantáneas original puede continuar trabajando en los archivos T1 de instantáneas más antiguos, mientras que los nuevos visores pueden leer las últimas actualizaciones. Esto resulta útil en escenarios que tienen procesos de bajada más largos.

Nota

Se crea un nuevo archivo de instantánea solo si hay una actualización de datos. Solo se conservarán los últimos cinco archivos de instantánea. Los datos estancados se eliminarán automáticamente de su cuenta de Azure Data Lake Storage Gen 2.

Aquí se muestra un ejemplo del archivo model.json, que siempre apunta al último archivo de instantánea de la cuenta con marca de tiempo.

Archivo model.json de instantánea de ejemplo.

¿Cuál es el siguiente paso?

Después de usar con éxito el servicio de Azure Synapse Link for Dataverse, descubra cómo puede analizar y consumir sus datos con Centro de detección. Para acceder al Centro de detección, vaya a Power Apps > Azure Synapse Link. Seleccione su servicio vinculado y luego seleccione el centro de descubrimiento. Aquí puede encontrar herramientas recomendadas y documentación seleccionada para ayudarlo a aprovechar al máximo sus datos. Centro de descubrimiento.