Consulte y analice las actualizaciones incrementales
Los datos de Microsoft Dataverse (incluidos los datos de las aplicaciones de Dynamics 365 y de finanzas y operaciones) pueden cambiar continuamente al crear, actualizar y eliminar operaciones. Con la opción de actualización incremental, puede crear canalizaciones de datos incrementales que apliquen estos cambios a sistemas y bases de datos descendentes. Synapse Link para Dataverse exporta datos incrementales en carpetas con marca de tiempo que contienen cambios de datos dentro de intervalos de tiempo especificados por el usuario.
Puede aprovechar la función de actualización incremental para varios escenarios:
Actualice un almacén de datos descendente o un almacén de datos. Es posible que tenga que aplicar los cambios de sus datos de Power Apps y de sus datos de Dynamics 365 a un almacén de datos descendente. La actualización incremental es una capacidad estándar en la mayoría de las herramientas de transformación de datos, como Azure Data Factory. Sin embargo, para que funcione la característica de actualización incremental, debe identificar los registros que cambiaron en las tablas de origen. La función de actualización incremental proporciona datos modificados como un conjunto de archivos, de modo que no es necesario detectar cambios comparando imágenes de antes y después de las tablas.
Analice los cambios en grandes conjuntos de datos. Si necesita analizar cambios en grandes conjuntos de datos, la función de actualización incremental proporciona un flujo continuo de datos en lotes pequeños, de modo que no necesita almacenar todos los datos. Con esta opción puede eliminar datos obsoletos y estancados para ahorrar costos de almacenamiento de datos, así como realizar un seguimiento de los cambios de datos relevantes para un período de tiempo especificado por el usuario.
Azure Synapse Link for Dataverse También proporciona la opción de exportar y mantener una réplica de tablas en su almacenamiento Azure Data Lake (Gen 2). Puede configurar la herramienta Azure Synapse Link para exportar datos incrementales además de exportar una réplica de tablas. Cada configuración (conocida como "perfil de Synapse Link") puede exportar tablas o datos incrementales. Si bien puede crear varios perfiles, no puede configurar tablas y actualizaciones incrementales dentro del mismo perfil.
Importante
Cuando habilita esta función con una copia de sus datos, se crea una carpeta inicial con marca de tiempo. Las carpetas posteriores de marcas de tiempo y tablas se crean solo cuando hay una actualización de datos durante el intervalo de tiempo especificado por el usuario.
Una vez que crea un perfil de Synapse vincular con la función de actualización incremental, la configuración se aplica a todas las tablas seleccionadas dentro del perfil de Synapse vincular.
Esta función no se puede habilitar con la opción: Conectarse a su Azure Synapse workspace. Para los clientes que requieren acceso a Azure Synapse Analytics, siga estas instrucciones para configurar el enlace: Cree un Azure Synapse Link for Dataverse con su Azure Synapse Workspace
Esta característica es equivalente a la característica Fuentes de cambios de exportación al lago de datos integrada en las aplicaciones de finanzas y operaciones de Dynamics 365. Los clientes que utilizan la característica Fuentes de cambios tienen la opción de habilitar un perfil de Synapse Link con datos modificados sin tener que exportar los datos de la tabla.
Requisitos previos
Esta guía asume que ya ha cumplido con los requisitos previos para crear un Azure Synapse Link. Más información: Crear un Azure Synapse Link for Dataverse con Azure Data Lake
Cree un perfil Synapse vincular para exportar datos incrementales
Inicie sesión en Power Apps y luego seleccione su entorno.
En el panel de navegación izquierdo, seleccione Azure Synapse Link. Si el elemento no se encuentra en el panel lateral, seleccione …Más y, a continuación, el elemento que desee.
En la barra de comandos, seleccione Nuevo enlace.
Seleccione Suscripción, Grupo de recursos y Cuenta de almacenamiento. Seleccione Siguiente.
No seleccione la opción Conectarse a su Azure Synapse Workspace. Si elige esta opción, se deshabilitará la función de actualización incremental.
Agregue las tablas que quiera exportar. Si su Dataverse ambiente está vinculado a aplicaciones de finanzas y operaciones, también puede Seleccionar tablas desde aplicaciones de finanzas y operaciones.
Seleccione Avanzadas.
Encienda Mostrar opciones de configuración avanzada y Habilitar estructura de carpetas de actualización incremental.
Ingrese el intervalo de tiempo (en minutos) para la frecuencia con la que se deben capturar las actualizaciones incrementales y luego seleccione Guardar.
Nota
El intervalo de tiempo mínimo es de 5 minutos. Eso significa que la carpeta de actualización incremental se crea cada cinco minutos y contendrá los cambios que ocurrieron dentro del intervalo de tiempo. Esta configuración también se puede configurar después de la creación del enlace a través de Administrar tablas. El intervalo de tiempo máximo es de 1140 minutos (o 24 horas).
Asegúrese de que Conectarse a su Azure Synapse workspace Azure Synapse workspace no está marcada en la primera página de configuración.
Los datos incrementales en carpetas con marca de tiempo se almacenan como archivos de texto con valores separados por comas (archivos CSV). No puede usar la característica de conversión Delta para datos incrementales y obtener archivos incrementales en un formato de parquet Delta.
Ver carpeta incremental en Microsoft Azure Almacenamiento
Al crear un perfil de Synapse Link con datos incrementales, el sistema realiza una copia inicial de todas las tablas y la almacena en la primera carpeta de actualización incremental. Una vez creada la copia inicial, el sistema crea carpetas de actualización posteriores con datos modificados. Si no hay cambios en ninguna de las tablas seleccionadas, no verá las carpetas de datos incrementales.
Para ver las carpetas de datos incrementales en la cuenta de almacenamiento:
Seleccione el Azure Synapse Link deseado y seleccione Ir a Azure data lake en la barra de comandos.
Seleccione los Contenedores en Almacenamiento de datos.
Seleccione dataverse-environmentName-organizationUniqueName. Las carpetas de actualizaciones incrementales se nombran según la marca de tiempo de creación ("yyyy-MM-dd'T'HH:mm:ss.SSSz") en UTC. Tenga en cuenta que la diferencia de tiempo entre las carpetas con marca de tiempo es el intervalo de tiempo especificado por usted en la configuración avanzada.
Dentro de cada carpeta con marca de tiempo, hay carpetas para cada tabla. Es posible que no todas las tablas elegidas hayan cambiado durante el intervalo de tiempo y solo verá las carpetas correspondientes a las tablas cuyos datos cambiaron.
Nota
Debido a las funciones del mecanismo de reintento, es posible que se cree una carpeta de marca de tiempo vacía adicional dentro del intervalo de tiempo especificado por el usuario.
Consumir datos incrementales
Puede copiar datos incrementales en una instancia de Azure SQL Database o un almacenamiento de datos mediante herramientas de integración de datos como canalizaciones de Azure Data Factory o Azure Synapse Analytics. Proporcionamos una canalización de datos de ejemplo que se puede usar para este propósito. Para obtener más información:Copie Dataverse datos en Azure SQL.
Si es un cliente de las aplicaciones de finanzas y operaciones de Dynamics 365 que está haciendo la transición desde la característica de fuentes de cambios, puede usar las herramientas de ejemplo de integración de datos proporcionadas en GitHub para actualizar las canalizaciones de datos existentes que se usan con la característica de fuentes de cambios.
También puedes crear tu propio pipeline de datos para consumir datos incrementales. Sin embargo, debes tener en cuenta las siguientes prácticas recomendadas al diseñar tu propia canalización:
- Consumir solo datos de carpetas con marca de tiempo anteriores: de esta manera, puede evitar conflictos de lectura y escritura con el servicio Synapse Link, que puede estar actualizando continuamente los datos de la carpeta actual. Puede encontrar la carpeta actual en el archivo Changelog/changelog.info. Este archivo es un archivo de solo lectura que contiene una sola fila con el nombre de la carpeta que se está actualizando. No debe actualizar este archivo ya que puede causar inestabilidad en el sistema.
- Puede ver el archivo de model.json ubicado dentro de cada carpeta con marca de tiempo para leer metadatos, como nombres de columna, para los datos contenidos en carpetas de tablas. Tenga en cuenta que cada archivo model.json en la carpeta ubicada dentro de las carpetas con marca de tiempo contiene metadatos para todas las tablas, no solo para las tablas contenidas dentro de la carpeta con marca de tiempo.
- Evite utilizar otros archivos de registro como el archivo Synapse.log. Este archivo se utiliza para fines internos y es posible que no refleje datos precisos.
- Considere la posibilidad de eliminar carpetas incrementales obsoletas de Azure Data Lake de datos una vez que haya terminado el procesamiento. En la actualidad, Synapse Link mantiene un arrendamiento de estos archivos en Azure Storage para recuperarse de cualquier error. Es posible que el sistema libere el arrendamiento después de un tiempo.
