Fråga och analysera de inkrementella uppdateringarna
Microsoft Dataverse-data (inklusive data från Dynamics 365-program och Finance and Operations) kan ändras kontinuerligt genom att skapa, uppdatera och ta bort transaktioner. Med alternativet för inkrementell uppdatering kan du skapa inkrementella datapipelines som tillämpar dessa ändringar på underordnade system och databaser. Synapse Link för Dataverse exporterar inkrementella data i tidsstämplade mappar som innehåller dataändringar inom användardefinierade tidsintervall.
Du kan använda funktionen för inkrementell uppdatering i flera scenarier:
Uppdatera ett underordnat datalager eller ett informationslager. Du kan behöva tillämpa ändringar från dina Power Apps- och Dynamics 365-data i ett underordnat datalager. Stegvis uppdatering är en standardfunktion i de flesta datatransformeringsverktyg, till exempel Azure Data Factory. För att funktionen för inkrementell uppdatering ska fungera måste du emellertid identifiera de poster som har ändrats i källtabellerna. Funktionen för inkrementell uppdatering tillhandahåller ändrade data som en uppsättning filer, detta så att du inte behöver identifiera ändringar genom att jämföra före- och efterbilder av tabeller.
Analysera ändringar i stora datamängder. Om du behöver analysera ändringar i stora datamängder ger funktionen för inkrementell uppdatering en kontinuerlig dataström i små batchar, så att du inte behöver lagra alla data. Med det här alternativet kan du ta bort inaktuella och stillastående data för att spara datalagringskostnader samt spåra dataändringar som är relevanta för en användardefinierad tidsperiod.
Azure Synapse Link for Dataverse ger också möjlighet att exportera och underhålla en replik av tabeller i din Azure-datasjölagring (Gen 2). Du kan konfigurera Azure Synapse Link för att exportera inkrementella data förutom att exportera en replik av tabeller. Varje konfiguration (kallas för en ”Synapse Link-profil”) kan exportera antingen tabeller eller inkrementella data. Du kan skapa flera profiler, men du kan inte konfigurera både tabeller och inkrementella uppdateringar i samma profil.
Viktigt
En första tidsstämplad mapp skapas när du aktiverar den här funktionen med en kopia av dina data. Efterföljande tidsstämpel- och tabellmappar skapas bara när det finns en datauppdatering under det användarangivna tidsintervallet.
När du har skapat en Synapse Link-profil med funktionen för inkrementell uppdatering gäller konfigurationen för alla valda tabeller i Synapse Link-profilen.
Den här funktionen kan inte aktiveras med alternativet: Anslut till din Azure Synapse workspace. För kunder som behöver Azure Synapse Analytics-åtkomst följer du denna instruktioner för att konfigurera länken: Skapa en Azure Synapse Link for Dataverse med din Azure Synapse workspace
Den här funktionen motsvarar funktionen Ändringsflöden i export till datasjö som är inbyggd i Dynamics 365-appar för ekonomi och drift. Kunder som använder funktionen Ändra flöden har möjlighet att aktivera en Synapse Link-profil med ändringsdata utan att behöva exportera tabelldata.
Förutsättningar
I den här guiden förutsätts det att du redan har uppfyllt kraven för att skapa en Azure Synapse Link. Mer information: Skapa en Azure Synapse Link for Dataverse med Azure-datasjö
Skapa en Synapse Link-profil för att exportera inkrementella data
Logga in på Power Apps och välj din miljö.
I vänstra navigeringsfönstret, välj Azure Synapse Link. Om objektet inte finns i sidopanelsfönstret väljer du ... Mer och markerar sedan det objekt du vill använda.
Markera + Ny länk i kommandofältet.
Välj Prenumeration, Resursgrupp och Lagringskonto. Klicka på Nästa.
Välj inte alternativet Anslut till din Azure Synapse-arbetsyta. Om du väljer det här alternativet inaktiveras funktionen för inkrementell uppdatering.
Lägg till de tabeller som du vill exportera. Om din Dataverse-miljö är länkad till appar för ekonomi och drift kan du även välja tabeller från appar för ekonomi och drift.
Välj Avancerat.
Aktivera Visa avancerade konfigureringsinställningar och Aktivera inkrementell uppdatering av mappstruktur.
Ange tidsintervall (i minuter) för hur ofta uppdateringar ska installeras och välj sedan Spara.
Obs
Det minsta tidsintervallet är 5 minuter. Det innebär att mappen med inkrementella uppdateringar skapas var femte minut och innehåller de ändringar som inträffat inom tidsintervallet. Denna inställning kan även konfigureras när länken har skapats via Hantera tabeller. Maximalt tidsintervall är 1140 minuter (eller 24 timmar).
Se till att Ansluta till din Azure Synapse workspace Azure Synapse workspace inte kontrolleras på första sidan i konfigurationen.
Inkrementella data i tidsstämplade mappar lagras som textfiler med kommaavgränsade värden (CSV-filer). Du kan inte använda funktionen för Delta-konversation för inkrementella data och hämta inkrementella filer i ett Delta-parquet-format.
Visa mappen med förtent syfte på Microsoft Azure Storage
När du skapar en Synapse Link-profil med inkrementella data gör systemet en första kopia av alla tabeller och lagrar den i den första inkrementella uppdateringsmappen. När den första kopian har skapats skapar systemet efterföljande uppdateringsmappar med ändrade data. Om det inte finns några ändringar i någon av de valda tabellerna visas inte inkrementella datamappar.
Så här ser du mappar med inkrementella data på lagringskontot:
Välj önskad Azure Synapse Link och välj Gå till Azure-datasjö i kommandofältet.
Markera behållare under Datalagring.
Välj dataverse-environmentName-organizationUniqueName. Mappar för uppdateringar som inte finns i datorn namnges av tidsstämpeln för skapandet (”yyyy-MM-dd'T'HH:mm:ss.SSSz”) i UTC. Observera att tidsskillnaden mellan tidsstämplade mappar är det tidsintervall som du anger i dina avancerade inställningar.
I varje tidsstämplad mapp finns det mappar för varje enskild tabell. Alla valda tabeller kanske inte har ändrats under tidsintervallet, och du ser bara mappar som motsvarar tabeller vars data har ändrats.
Obs
På grund av funktionerna för återförsök kan en extra tom tidsstämpelmapp komma att skapas inom det användarangivna tidsintervallet.
Använda inkrementella data
Du kan kopiera inkrementella data till en Azure SQL-databas eller ett informationslager med hjälp av dataintegreringsverktyg såsom Azure Data Factory- eller Azure Synapse Analytics-pipelines. Vi tillhandahåller en exempeldatapipeline som kan användas för detta ändamål. För mer information:Kopiera Dataverse-data till Azure SQL.
Om du är en Dynamics 365 Finance and Operations-kund som tar steget från funktionen för ändringsflöden kan du använda de exempelverktyg för dataintegrering som finns i GitHub för att uppdatera befintliga datapipelines som används med funktionen för ändringsflöden.
Du kan också skapa en egen datapipeline för att använda inkrementella data. Du måste emellertid tänka på följande metodtips när du utformar din egen pipeline:
- Använd endast data från tidigare tidsstämplade mappar: På så sätt kan du undvika läs- och skrivkonflikter med Synapse Link-tjänsten, som kan uppdatera data kontinuerligt i den aktuella mappen. Du kan hitta den aktuella mappen genom att visa filen Changelog/changelog.info. Den här filen är en skrivskyddad fil som innehåller en enda rad med det mappnamn som för närvarande uppdateras. Du bör inte uppdatera den här filen eftersom den kan orsaka instabilitet i systemet.
- Du kan visa den model.json-fil som finns i varje tidsstämplad mapp för att läsa metadata, till exempel kolumnnamn för datan som finns i tabellmappar. Observera att varje model.json-fil i mappen som finns i tidsstämplade mappar innehåller metadata för alla tabeller, inte bara de tabeller som finns i den tidsstämplade mappen.
- Undvik att använda andra loggfiler, till exempel Synapse.log-filen. Den här filen används för interna ändamål och kanske inte återspeglar korrekta data.
- Överväg att ta bort föråldrade inkrementella mappar från Azure-datasjö när du är klar med bearbetningen. För närvarande har Synapse Link ett lån på dessa filer i Azure Storage för att kunna återställa från eventuella fel. Systemet kan komma att släppa lånet efter en viss tid.
