De incrementele updates opvragen en analyseren
Microsoft Dataverse-gegevens (waaronder gegevens uit Dynamics 365-apps voor financiën en bedrijfsactiviteiten) kunnen voortdurend veranderen door transacties te maken, bij te werken en te verwijderen. Met de optie voor incrementele updates kunt u incrementele gegevenspijplijnen bouwen die deze wijzigingen toepassen op downstreamsystemen en databases. Met Synapse Link voor Dataverse worden incrementele gegevens geëxporteerd in mappen met tijdstempels die gegevenswijzigingen bevatten binnen door de gebruiker opgegeven tijdsintervallen.
U kunt de functie voor incrementele updates in verschillende scenario's gebruiken:
Werk een downstream datastore of een datawarehouse bij. Mogelijk moet u wijzigingen in uw gegevens van Power Apps en Dynamics 365 toepassen op een downstream-gegevensopslag. Incrementele updates zijn een standaardfunctie in de meeste tools voor gegevenstransformatie, zoals Azure Data Factory. Om de functie voor incrementele updates te laten werken, moet u echter de records identificeren die in de brontabellen zijn gewijzigd. Met de functie voor incrementele updates worden gewijzigde gegevens als een set bestanden weergegeven. Hierdoor hoeft u wijzigingen niet te detecteren door versies van tabellen voor en na te vergelijken.
Analyseer veranderingen in grote datasets. Als u wijzigingen in grote datasets moet analyseren, biedt de functie voor incrementele updates een continue stroom gegevens in kleine batches, zodat u niet alle gegevens hoeft op te slaan. Met deze optie kunt u verouderde en stilstaande gegevens verwijderen om kosten voor gegevensopslag te besparen. Ook kunt u wijzigingen in de gegevens bijhouden die relevant zijn voor een door de gebruiker opgegeven tijdsperiode.
Azure Synapse Link for Dataverse biedt ook de mogelijkheid om een replica van tabellen in uw Azure Data Lake (Gen 2)-opslag te exporteren en te onderhouden. U kunt Azure Synapse Link configureren om naast het exporteren van een replica van tabellen ook incrementele gegevens te exporteren. Elke configuratie (ook wel een "Synapse koppelen-profiel" genoemd) kan tabellen of incrementele gegevens exporteren. U kunt meerdere profielen maken, maar u kunt niet zowel tabellen als incrementele updates binnen hetzelfde profiel configureren.
Belangrijk
Wanneer u deze functie inschakelt, wordt er een map met een initieel tijdstempel gemaakt met een kopie van uw gegevens. Volgende tijdstempel- en tabelmappen worden alleen gemaakt wanneer er een gegevensupdate is tijdens het door de gebruiker opgegeven tijdsinterval.
Nadat u een Synapse Link-profiel met de functie voor incrementele updates hebt gemaakt, wordt de configuratie toegepast op alle geselecteerde tabellen binnen het Synapse Link-profiel.
Deze functie kan niet worden ingeschakeld met de optie Verbinding maken met uw Azure Synapse workspace. Voor klanten die toegang tot Azure Synapse analytics nodig hebben, volgt u deze instructie om de koppeling in te stellen: Een Azure Synapse Link for Dataverse maken met uw Azure Synapse workspace
Deze functie is vergelijkbaar met de functie Wijzigingenfeeds in Exporteren naar data lake die is ingebouwd in Dynamics 365-apps voor financiën en bedrijfsactiviteiten. Klanten die de functie Wijzigingenfeeds gebruiken, hebben de mogelijkheid om een Synapse Link-profiel met wijzigingsgegevens in te schakelen zonder tabelgegevens te hoeven exporteren.
Vereisten
In deze handleiding wordt ervan uitgegaan dat u al aan de vereisten voor het maken van een Azure Synapse Link. Ga voor meer informatie naar: Een Azure Synapse Link for Dataverse maken met Azure Data Lake
Maak een Synapse koppelen-profiel om incrementele gegevens te exporteren
Meld u aan bij Power Apps en selecteer uw omgeving.
Selecteer in het linkernavigatievenster Azure Synapse Link. Als het item zich niet in het deelvenster van het zijpaneel bevindt, selecteert u …Meer en selecteert u vervolgens het gewenste item.
Selecteer + Nieuwe koppeling op de opdrachtbalk.
Selecteer Abonnement, Resourcegroep en Opslagaccount. Selecteer Volgende.
Selecteer de optie Verbinding maken met uw Azure Synapse-werkruimte niet. Als u deze optie kiest, wordt de functie voor incrementele updates uitgeschakeld.
Voeg de tabellen toe die u wilt exporteren. Als uw Dataverse-omgeving is gekoppeld aan apps voor financiën en bedrijfsactiviteiten, kunt u ook tabellen uit apps voor financiën en bedrijfsactiviteiten selecteren.
Selecteer Geavanceerd.
Schakel Geavanceerde configuratie-instellingen weergeven enMapstructuur voor incrementele update inschakelen in.
Voer het tijdsinterval (in minuten) in om aan te geven hoe vaak de incrementele updates moeten worden vastgelegd en selecteer vervolgens Opslaan.
Notitie
Het minimale tijdsinterval is 5 minuten. Dat betekent dat de map met incrementele updates elke vijf minuten wordt gemaakt en de wijzigingen bevat die binnen het tijdsinterval zijn opgetreden. Deze instelling is ook configureerbaar nadat de koppeling via Tabellen beheren is gemaakt. Het maximale tijdsinterval is 1140 minuten (of 19 uur).
Zorg ervoor dat Verbinding maken met uw Azure Synapse workspace Azure Synapse niet is ingeschakeld op de eerste pagina van de installatie.
Incrementele gegevens in mappen met tijdstempel worden opgeslagen als door komma's gescheiden tekstbestanden (CSV-bestanden). U kunt de Delta-conversiefunctie niet gebruiken voor incrementele gegevens en incrementele bestanden verkrijgen in een Delta Parquet-indeling.
Incrementele map in Microsoft Azure Storage weergeven
Wanneer u een Synapse koppelen-profiel met incrementele gegevens maakt, maakt het systeem een eerste kopie van alle tabellen en slaat deze op in de eerste map met incrementele updates. Zodra de eerste kopie is gemaakt, maakt het systeem vervolgupdatemappen met gewijzigde gegevens. Als er in geen van de geselecteerde tabellen wijzigingen zijn aangebracht, ziet u geen mappen met incrementele gegevens.
Om incrementele gegevensmappen in het opslagaccount te bekijken:
Selecteer de gewenste Azure Synapse Link en vervolgens Naar Azure Data Lake op de opdrachtbalk.
Selecteer Containers onder Gegevensopslag.
Selecteer dataverse-environmentName-organizationUniqueName. Mappen voor incrementele updates worden benoemd op basis van het aanmaaktijdstempel ("jjjj-MM-dd'T'UU:mm:ss.SSSz") in UTC. Houd er rekening mee dat het tijdsverschil tussen mappen met tijdstempel het tijdsinterval is dat u in de geavanceerde instellingen hebt opgegeven.
Binnen elke map met tijdstempel zijn er mappen voor elke tabel. Mogelijk zijn niet alle geselecteerde tabellen gewijzigd gedurende het tijdsinterval. U ziet alleen mappen die overeenkomen met tabellen waarvan de gegevens zijn gewijzigd.
Notitie
Vanwege de functies van het mechanisme voor opnieuw proberen, kan er binnen het door de gebruiker opgegeven tijdsinterval een extra lege tijdstempelmap worden gemaakt.
Incrementele gegevens verbruiken
U kunt incrementele gegevens kopiëren naar een Azure SQL-database of een datawarehouse met behulp van hulpmiddelen voor gegevensintegratie zoals Azure Data Factory- of Azure Synapse Analytics-pijplijnen. Wij bieden een voorbeeld van een gegevenspijplijn die u voor dit doel kunt gebruiken. Voor meer informatie:Dataverse-gegevens kopiëren naar Azure SQL.
Als u een klant bent van Dynamics 365-apps voor financiën en bedrijfsactiviteiten die overstapt van de functie Wijzigingenfeeds, kunt u voorbeeldtools voor gegevensintegratie in GitHub gebruiken om bestaande gegevenspijplijnen bij te werken die worden gebruikt met de functie Wijzigingenfeeds.
U kunt ook uw eigen gegevenspijplijn bouwen om incrementele gegevens te verwerken. U moet echter rekening houden met de volgende best practices bij het ontwerpen van uw eigen pijplijn:
- Alleen gegevens uit eerdere mappen met tijdstempel verbruiken: op deze manier voorkomt u lees-/schrijfconflicten met de Synapse Link-service, waarmee mogelijk voortdurend gegevens in de huidige map worden bijgewerkt. U kunt de huidige map vinden door het bestand Changelog/changelog.info te bekijken. Dit bestand is een alleen-lezenbestand dat één rij bevat met de mapnaam die momenteel wordt bijgewerkt. U mag dit bestand niet bijwerken, omdat dit tot systeeminstabiliteit kan leiden.
- U kunt het in elke map met tijdstempel aanwezige model.json-bestand bekijken om metagegevens te lezen, zoals kolomnamen voor de gegevens in tabelmappen. Houd er rekening mee dat elk model.json-bestand in de map die zich bevindt in de mappen met tijdstempel metagegevens bevat voor alle tabellen, niet alleen voor de tabellen in de map met tijdstempel.
- Gebruik geen andere logbestanden, zoals het bestand Synapse.log. Dit bestand wordt gebruikt voor interne doeleinden en geeft mogelijk niet de juiste gegevens weer.
- Overweeg om verouderde incrementele mappen uit uw Azure Data Lake te verwijderen nadat u klaar bent met de verwerking. Momenteel onderhoudt Synapse Link een lease op deze bestanden in Azure Storage om te kunnen herstellen van eventuele storingen. Het systeem kan na enige tijd de code lease vrijgeven.
