Inkrementelle Updates abfragen und analysieren
Microsoft Dataverse-Daten (einschließlich Daten aus Dynamics 365-Apps und Finanz- und Betrieb) können sich durch das Erstellen, Aktualisieren und Löschen von Transaktionen kontinuierlich ändern. Mit der Option zur inkrementellen Aktualisierung können Sie inkrementelle Datenpipelines erstellen, die diese Änderungen auf nachgelagerte Systeme und Datenbanken anwenden. Synapse Link für Dataverse exportiert inkrementelle Daten in Ordner mit Zeitstempel, die Datenänderungen innerhalb benutzerdefinierter Zeitintervalle enthalten.
Sie können die Funktion für inkrementelle Updates für mehrere Szenarien nutzen:
Aktualisieren Sie einen nachgelagerten Datenspeicher oder ein Data Warehouse. Möglicherweise müssen Sie Änderungen aus Ihren Power Apps- und Dynamics 365-Daten in einen nachgelagerten Datenspeicher anwenden. Inkrementelle Updates sind eine Standardfunktion in den meisten Datentransformationstools wie Azure Data Factory. Damit die inkrementelle Aktualisierungsfunktion funktioniert, müssen Sie jedoch die Datensätze identifizieren, die in den Quelltabellen geändert wurden. Die Funktion zur inkrementellen Aktualisierung stellt geänderte Daten als Dateisatz bereit, sodass Sie Änderungen nicht durch Vergleichen von Vorher- und Nachher-Bildern von Tabellen erkennen müssen.
Analysieren Sie Änderungen in großen Datensätzen. Wenn Sie Änderungen in großen Datensätzen analysieren müssen, stellt das Feature für inkrementelle Updates einen kontinuierlichen Datenstrom in kleinen Batches bereit, sodass Sie nicht alle Daten speichern müssen. Mit dieser Option können Sie veraltete und stagnierende Daten löschen, um Datenspeicherkosten zu sparen, sowie Datenänderungen verfolgen, die für einen benutzerdefinierten Zeitraum relevant sind.
Azure Synapse Link for Dataverse bietet auch die Möglichkeit, ein Replikat von Tabellen in Ihrem Azure Data Lake-Speicher (der 2. Generation) zu exportieren und zu verwalten. Sie können Azure Synapse Link so konfigurieren, dass neben dem Exportieren eines Replikats von Tabellen auch inkrementelle Daten exportiert werden. Jede Konfiguration (als „Synapse Link-Profil“ bezeichnet) kann entweder Tabellen oder inkrementelle Daten exportieren. Sie können zwar mehrere Profile erstellen, aber nicht gleichzeitig Tabellen und inkrementelle Updates innerhalb desselben Profils konfigurieren.
Wichtig
Ein Ordner mit anfänglichem Zeitstempel wird erstellt, wenn Sie dieses Feature mit einer Kopie Ihrer Daten aktivieren. Nachfolgende Zeitstempel- und Tabellenordner werden nur erstellt, wenn während des benutzerdefinierten Zeitraums ein Daten-Update erfolgt.
Sobald Sie ein Synapse Link-Profil mit dem Feature für inkrementelle Updates erstellt haben, gilt die Konfiguration für alle ausgewählten Tabellen innerhalb des Synapse Link-Profils.
Diese Funktion kann nicht mit der Option Mit Ihrem Azure Synapse workspace verbinden aktiviert werden. Für Kunden, die Azure Synapse Analytics-Zugriff benötigen, befolgen Sie diese Anleitung, um den Link einzurichten: Einen Azure Synapse Link for Dataverse mit Ihrem Azure Synapse Workspace erstellen
Dieses Feature entspricht dem Feature Änderungsfeeds in „Nach Data Lake exportieren“, das in Finanz- und Betriebs-Apps von Dynamics 365 integriert ist. Kunden, die das Feature Änderungsfeeds verwenden, haben die Möglichkeit, ein Synapse Link-Profil mit Änderungsdaten zu aktivieren, ohne Tabellendaten exportieren zu müssen.
Anforderungen
In dieser Anleitung wird davon ausgegangen, dass Sie die Voraussetzungen zum Erstellen eines Azure Synapse Link erfüllt haben. Weitere Informationen: Erstellen Sie eine Azure Synapse Link for Dataverse mit Azure Data Lake
Erstellen Sie ein Synapse verknüpfen-Profil, um inkrementelle Daten zu exportieren
Melden Sie sich bei Power Apps an, und wählen Sie Ihre Umgebung aus.
Wählen Sie im linken Navigationsbereich Azure Synapse Link aus. Wenn sich das Element nicht im linken Seitenbereich befindet, wählen Sie …Mehr und dann das gewünschte Element aus.
Klicken Sie auf der Befehlsleiste auf + neue Verknüpfung.
Wählen Sie das Abonnement, die Ressourcengruppe, und das Speicherkonto. Wählen Sie Weiter.
Wählen Sie nicht die Option Mit Ihrem Azure Synapse workspace verbinden aus. Wenn Sie diese Option wählen, wird die Funktion für inkrementelle Updates deaktiviert.
Fügen Sie Tabellen hinzu, die Sie exportieren möchten. Wenn Ihr Dataverse Umgebung mit Finanz- und Betriebs-Apps verknüpft ist, können Sie auch Tabellen von Finanz- und Betriebs-Apps Auswählen.
Wählen Sie Erweitert aus.
Aktivieren Sie Erweiterte Konfigurationseinstellungen anzeigen und Ordnerstruktur für inkrementelles Update aktivieren.
Geben Sie als Zeitraum (in Minuten) ein, wie oft die inkrementellen Updates erfasst werden sollen, und wählen Sie dann Speichern aus.
Anmerkung
Der Mindestzeitraum beträgt 5 Minuten. Das bedeutet, dass der Ordner für inkrementelle Updates alle fünf Minuten erstellt wird und die Änderungen enthält, die innerhalb des Zeitraums erfolgt sind. Diese Einstellung ist auch nach der Linkerstellung über Tabellen verwalten konfigurierbar. Das maximale Zeitintervall beträgt 1140 Minuten (oder 24 Stunden).
Stellen Sie sicher, dass Mit Ihrem Azure Synapse workspace Azure Synapse workspace verbinden auf der ersten Einrichtungsseite nicht aktiviert ist.
Inkrementelle Daten in mit Zeitstempel versehenen Ordnern werden als Textdateien mit durch Kommas getrennten Werten (CSV-Dateien) gespeichert. Es ist nicht möglich, das Delta-Konvertierungsfeature für inkrementelle Daten zu verwenden und inkrementelle Dateien im Delta Parquet-Format zu erhalten.
Anzeigen des inkrementellen Ordners in Microsoft Azure-Speicher
Wenn Sie ein Synapse Link-Profil mit inkrementellen Daten erstellen, erstellt das System eine erstmalige Kopie aller Tabellen und speichert sie im Ordner für die erste inkrementelle Aktualisierung. Sobald die erste Kopie erstellt ist, erstellt das System nachfolgende Aktualisierungsordner mit geänderten Daten. Wenn in keiner der ausgewählten Tabellen Änderungen aufgetreten sind, werden keine inkrementellen Datenordner angezeigt.
So zeigen Sie inkrementelle Datenordner im Speicherkonto an:
Wählen Sie den gewünschten Azure Synapse Link und dann Zu Azure Data Lake wechseln in der Befehlsleiste aus.
Wählen Sie die Container unter Datenspeicher aus.
Wählen Sie dataverse-environmentName-organizationUniqueName aus. Ordner für inkrementelle Updates werden nach dem Zeitstempel der Erstellung („JJJJ-MM-TT'T'HH:mm:ss.SSSz“) in UTC benannt. Beachten Sie, dass der Zeitunterschied zwischen mit Zeitstempeln versehenen Ordnern dem von Ihnen in den erweiterten Einstellungen angegebenen Zeitintervall entspricht.
In jedem mit einem Zeitstempel versehenen Ordner gibt es Ordner für jede Tabelle. Möglicherweise haben sich nicht alle Daten in den ausgewählten Tabellen während des Zeitintervalls geändert, und es werden nur Ordner angezeigt, die Tabellen entsprechen, deren Daten sich geändert haben.
Anmerkung
Aufgrund der Funktionen des Wiederholungsmechanismus wird möglicherweise innerhalb des benutzerdefinierten Zeitintervalls ein zusätzlicher leerer Zeitstempelordner erstellt.
Inkrementelle Daten nutzen
Sie können inkrementelle Daten in eine Azure SQL-Datenbank oder ein Data Warehouse kopieren, indem Sie Datenintegrationstools wie Azure Data Factory oder Azure Synapse Analytics-Pipelines verwenden. Wir stellen eine Beispieldatenpipeline bereit, die zu diesem Zweck verwendet werden kann. Weitere Informationen finden Sie unter:Dataverse-Daten in Azure SQL kopieren.
Wenn Sie ein Kunde von Dynamics 365 Finanzen und Betriebs-Apps sind, der vom Änderungsfeeds-Feature wechselt, können Sie die In GitHub bereitgestellten Beispieltools für die Datenintegration verwenden, um vorhandene Daten-Pipelines zu aktualisieren, die mit dem Änderungsfeeds-Feature verwendet werden.
Sie können auch Ihre eigene Datenpipeline erstellen, um inkrementelle Daten zu nutzen. Beim Entwerfen Ihrer eigenen Pipeline müssen Sie jedoch die folgenden Best Practices berücksichtigen:
- Nur Daten aus vorherigen Ordnern mit Zeitstempel verwenden: Auf diese Weise können Sie Lese-/Schreibkonflikte mit dem Synapse Link-Service vermeiden, der möglicherweise kontinuierlich Daten im aktuellen Ordner aktualisiert. Sie können den aktuellen Ordner finden, indem Sie die Datei Changelog/changelog.Info anzeigen. Diese Datei ist eine schreibgeschützte Datei, die eine einzelne Zeile mit dem Namen des aktuell aktualisierten Ordners enthält. Sie sollten diese Datei nicht aktualisieren, da dies zu Systeminstabilitäten führen kann.
- Sie können die model.json-Datei, die sich in jedem Ordner mit Zeitstempel befindet, anzeigen, um Metadaten wie Spaltennamen für die in Tabellenordnern enthaltenen Daten zu lesen. Beachten Sie, dass jede model.json-Datei, die sich in dem Ordner in Ordnern mit Zeitstempel befindet, Metadaten für alle Tabellen enthält, nicht nur für die Tabellen, die im Ordner mit Zeitstempel enthalten sind.
- Vermeiden Sie die Verwendung anderer Protokolldateien wie der Datei Synapse.log. Diese Datei wird für interne Zwecke verwendet und enthält möglicherweise keine genauen Daten.
- Erwägen Sie, überflüssige inkrementelle Ordner aus Ihrem Azure Data Lake zu löschen, nachdem Sie die Verarbeitung abgeschlossen haben. Derzeit verwaltet Synapse Link ein Leasingvereinbarung für diese Dateien in Azure Storage, um eine Wiederherstellung nach Fehlern zu ermöglichen. Das System gibt die Leasingvereinbarung möglicherweise nach einiger Zeit frei.
