Freigeben über


Umstellung von alten Datenintegrationsdiensten

Der Datenexportservice, Bring Your Own Database (BYOD) und Nach Data Lake exportieren waren in Dynamics 365-Apps eingeführte Features zum Exportieren von Daten für Analyse- und Datenintegrationsszenarien. Diese Dienste ermöglichten es IT-Administrierenden und -Fachkräften, Daten in externe Datenbanken oder Data Lakes zu exportieren und Datenintegrationspipelines aufzubauen. Während wir diese Dienste im Laufe der Jahre durch Updates im Rahmen der Zusammenführung von Dynamics 365 mit der Power Platform verbessert haben, haben wir die gleichen Funktionen dieser unterschiedlichen Dienste in einfachere, vereinheitlichte Erfahrungen umgewandelt, die in Power Apps (make.powerapps.com) integriert sind. Bei einer Umstellung auf Microsoft Fabric Link oder einem Upgrade auf Azure Synapse Link bieten Ihnen die neu konzipierten Dienste einen einfachen Einstieg, damit Sie von KI- und Copilot-Investitionen in Microsoft Dataverse und Fabric profitieren können.

Wenn Sie einen der Dienste der vorherigen Generation nutzen, finden Sie in diesem Artikel Informationen zum Upgrade auf die neue Erfahrung. Dabei profitieren Sie von den Innovationen und können den Gesamtaufwand und die Kosten reduzieren.

Aufgrund von Kundenbefragungen in der Vorabversion haben wir zudem eine umfassende Kosten- und Nutzenschätzung zusammengestellt, um Ihnen die Umstellung zu erleichtern. Darüber hinaus finden Sie hier Links zu weiteren Informationen und Videos sowie Links zur Teilnahme an Foren und wöchentlichen Sprechstunden, um sich mit dem Produktteam, Microsoft-Fachkräften und anderen Benutzenden auszutauschen. Unser Ziel ist es, diese Dienste durch Einbeziehung der Community zu verbessern.

Vor der Umstellung

Wenn Sie die alten Dienste BYOD, Datenexportdienst oder „Nach Data Lake exportieren“ nutzen, verfügen Sie möglicherweise über eine Datenintegrationsarchitektur, die der hier gezeigten ähnelt. Das hervorgehobene Feld zeigt die Datenpipelines an, die Ihr Unternehmen vielleicht erstellt hat, um die aus Dynamics 365 und Dataverse exportierten Daten zu nutzen. Sie können eine Auswahl an Tools von Microsoft und anderen Anbietern verwenden, um Dynamics-Daten zu kopieren und in Ihre eigenen Daten zu integrieren. Sie können Daten auch transformieren und aggregieren, indem Sie sie in mehrere Speicher kopieren – dargestellt im Datenaufbereitungsfeld des Diagramms. Sie können Power BI oder ein anderes Tool zum Visualisieren von Daten und Erstellen umsetzbarer Erkenntnisse nutzen. Möglicherweise haben Sie Pipelines zum Exportieren von Daten in ein lokales System und andere Clouds erstellt.

Datenintegrationslösung mit „Nach Data Lake exportieren“

Nach der Umstellung

Es gibt zwei Datenintegrationsmuster in Power Apps:

  • Azure Synapse Link ermöglicht den fortlaufenden Export von Daten ähnlich wie BYOD, „Nach Data Lake exportieren“ oder der Datenexportdienst. Diese Option ist für IT-Administrierende und Datenintegrationsfachkräfte aktiviert.
  • Das Feature „Link zu Fabric“ bietet eine vollständig verwaltete SaaS-Integration (Software as a Service) ohne Kopieren, Extrahieren, Transformieren und Laden (ETL).

Diese Optionen ergänzen sich. Hier sehen Sie einen ein detaillierten Vergleich der Datenintegrationsdienste.

Wenn Sie Finanz- und Betriebsanwendungen verwenden und derzeit BYOD- oder „Nach Data Lake exportieren“-Features verwenden, profitieren Sie durch das Upgrade auf Azure Synapse Link oder Fabric Link von einer vereinfachten Datenintegrationsarchitektur, welche die Betriebskosten senkt.

  • Einfache Konfiguration und Wartung über Power Apps (make.powerapps.com). Integrierte Integration mit Azure Synapse und Fabric.
  • Azure Synapse Link und Fabric Link sind vollständig verwaltete Dienste. Es ist jeweils nur ein minimaler laufender Verwaltungsaufwand erforderlich.
  • Die neuen Dienste bieten dieselben Datenformen wie die früheren Dienste. Ihre vorhandenen Downstream-Integrationspipelines können unverändert bleiben.
  • Minimale Auswirkungen auf betriebliche Workloads. Sie müssen keine Workloads verwalten und keine Datenexporte planen.

Sichere End-to-End-Datenintegrationspipelines:

  • Mit Fabric Link verlassen Ihre Daten die Dataverse-Governance-Grenzen nicht, während autorisierte Fabric-Benutzende sicher auf die innerhalb der Grenzen gespeicherte Dataverse-Daten zugreifen können.
  • Mit dem Azure Synapse Link-Dienst können Sie den Zugriff auf Ihre Speicherkonten mithilfe von Firewalls einschränken und gleichzeitig Dataverse den Datenexport mit verwalteten Identitäten für Azure erlauben, einer in Microsoft Entra integrierten Sicherheitsfunktion.

Wenn Sie Dynamics 365 Customer Engagement nutzen und den Datenexportdienst oder den klassischen Azure Synapse Link mit Datenexporten im CSV-Format verwenden, profitieren Sie von effizienten Berichten, die mit dem branchenüblichen Delta- oder Parquet-Datenformat aktiviert werden:

  • Dank der integrierten Delta Lake- oder Parquet-Konvertierungsoption müssen Sie keine eigenen Pipelines für Analysen und Betriebsberichte erstellen.
  • Das Delta Lake- oder Parquet-Format ermöglicht schnellere, besser reagierende Abfragen und Berichte und skaliert auf größere Datensätze jeder Größe.
  • Die Daten im Lake werden auf 1/3 bis 1/8 der Originalgröße komprimiert. Dadurch entstehen kleinere Dateien, was die Datenabfrage- und -speicherkosten reduziert.
Verknüpfung zu Fabric Azure Synapse Link
Kein Kopieren, keine direkte ETL-Integration mit Fabric. Daten in Ihr eigenes Speicherkonto exportieren und sie in Azure Synapse, Fabric und andere Tools integrieren.
Daten bleiben in Dataverse. Benutzende erhalten sicheren Zugriff zu Microsoft Fabric. Daten bleiben in Ihrem eigenen Speicher. Sie verwalten den Zugriff von Benutzenden.
Alle Tabellen sind standardmäßig ausgewählt. Systemadministratoren können erforderliche Tabellen auswählen.
Verbraucht zusätzlichen Dataverse Speicher. Verbraucht Ihren eigenen Speicher sowie andere Rechen- und Integrationstools.

Welche Option sollte ich verwenden?

Wenn Ihre Organisation Fabric bereits verwendet oder in den kommenden Monaten eine Umstellung plant, empfehlen wir die Verwendung der Fabric-Link-Funktion. Sie können den Azure Synapse Link Dienst weiterhin nutzen, wenn es Ihnen vor allem um eine Aktualisierung Ihrer aktuellen Dienste geht.

Wenn Sie bereits Daten mithilfe von Power BI nutzen, ein Data Warehouse verwenden oder Dataflows und Notebooks zur Datentransformation nutzen, bietet das Feature „Link zu Fabric“ einen sofortigen Mehrwert. Sie können Ihre Datenintegrationsarchitektur vereinfachen, indem Sie den Bedarf für ein eigenes Speicherkonto oder eigene Synapse-Dienste für Dataverse-Daten beseitigen. Anstatt für Azure-Ressourcen wie Speicher und Rechenleistung zu zahlen, zahlen Sie für die Erhöhung des Dataverse-Speichers. Rechenkosten wie Datenaktualisierungen in Quasi-Echtzeit und Verwaltungskosten werden ebenfalls in den Dataverse-Speicher einberechnet. Mit der Fabric Link-Option haben Sie eine in Quasi-Echtzeit verfügbare, schreibgeschützte Kopie Ihrer Daten, die für die Gewinnung von Erkenntnissen optimiert ist.

Vereinfachte Datenintegrationslösung mit Fabric Link

Fragen Sie dieses Replikat mit T-SQL, Apache Spark, Python sowie anderen Workloads in Fabric ab. Sie können auf diese Daten auch mit jedem Tool zugreifen, das T-SQL oder Daten von Azure Data Lake Storage verwenden kann.

Als Dynamics- oder Power Apps-Kundschaft erhalten Sie ein Dataverse Speicherkontingent basierend auf der Anzahl der von Ihnen erworbenen Lizenzen. Das Fabric-Link-Feature verwendet dieses Datenbankkontingent. Übersteigt das Datenvolumen Ihr Kontingent, können Sie weiteren Speicher hinzukaufen.

Sie können Platform-as-a-Service (PaaS)-Dienste von Azure wie Databricks und die SQL-Datenbank weiterhin in Ihrem eigenen Abonnement behalten. Kürzlich angekündigte Fabric-Features wie Datenspiegelung und Verknüpfungen können Ihnen dabei helfen, Ihre Datenintegration weiter zu vereinfachen.

Hier werden Beispiele für Kostensenkungen beschrieben, die durch die Vereinfachung des Fabric-Integrationsfeatures erreicht werden.

Durch ein Upgrade auf Azure Synapse Link und die Aktivierung der Delta- oder Parquet-Konvertierung können Sie die Dataverse Datenvorbereitungspipelines in Ihrer Lösung beseitigen. Der Azure Synapse Link-Dienst exportiert dieselben Datenformen in einem leistungsfähigeren Delta- oder Parquet-Format in Ihr Speicherkonto. Sie können vorhandene Tools und Azure-Dienste wie Speicher und Azure Synapse Analytics-Abfragen mit minimalen Störungen Ihrer Produktionsumgebungen weiterhin verwenden.

Datenintegrationslösung nach dem Upgrade auf Azure Synapse Link

Mehr zu Vorteilen und Kostensenkungen

Fabric Link und Azure Synapse Link sorgen für Einfachheit, was zu einer Reduzierung der End-to-End-Kosten führt. Betrachten Sie die folgenden Beispiele, die auf Kundenerfahrungen mit der Vorschauversion basieren.

Stellen Sie sich den Fall vor, dass Sie von „Export zu Data Lake“ zu Fabric Link wechseln.

Vorher-Nachher-Lösungen mit Link zu Fabric

Wie in den Vorher- und Nachher-Diagrammen oben gezeigt, hat die Kundschaft den Dienst „Nach Data Lake exportieren“ (1) sowie die Staging-Datenspeicher (2) mit Fabric Link außer Betrieb genommen. Um betriebliche Erkenntnisse zu gewinnen (4), werden Daten in OneLake direkt in Power BI eingesetzt. Für einige der Erkenntnisse sind eine Zusammenführung, Transformation und Aggregation von Daten erforderlich (3). Anstatt unterschiedliche Azure-Dienste zu verwenden, standardisiert die Kundschaft dieselben in Fabric integrierten Tools.

Innovationen in Dataverse und Fabric ermöglichen Vereinfachungen und Kostensenkungen:

  • Dataverse wird mit einem integrierten OneLake-Speicher geliefert. Betriebsdaten aus Dynamics 365 und Power Apps werden in Quasi-Echtzeit in den integrierten Lake-Speicher repliziert (um Auswirkungen auf betriebliche Workloads zu vermeiden) und über Verknüpfungen sicher mit Fabric verlinkt. Das Bereitstellen von Azure-Speicher und Sichern exportierter Daten ist nicht notwendig. Ihre Daten verlassen die Dataverse Governance-Grenzen nicht und autorisierte Benutzende in Fabric können mithilfe aller Fabric-Workloads mit Daten arbeiten.
  • „Nach Data Lake exportieren“ und der Datenexportdienst exportieren Daten im CSV-Format. CSV-Dateien sind aufgrund einer schlechter Abfrageleistung sowie gelegentlicher Lese-/Schreibkonflikte nicht für die direkte Verwendung geeignet. Die Lösung vor dem Übergang verwendet Azure Data Factory, um Rohdaten regelmäßig zu erfassen und in eine Azure SQL-Datenbank oder ein Azure Data Warehouse zu konvertieren. Diese Ebene wird in der Lösung nach der Umstellung nicht benötigt, da das in OneLake-Daten enthaltene Dataverse im Delta- oder Parquet-Format verwaltet wird, dem gleichen offenen Format, das auch für Microsoft Fabric nativ ist. Durch das Delta- oder Parquet-Format sowie die Optimierungen in Fabric entfällt die Notwendigkeit, zusätzliche Datenspeicher für die Zwischenspeicherung und Verbesserung der Abfrageleistung zu pflegen, während Lese-/Schreibkonflikte vermieden werden. Sie können Power BI-Berichte mithilfe von Direct Lake über Daten in OneLake ohne zusätzliche Datenphasen erstellen.
  • Während betriebliche Erkenntnisse mithilfe der in OneLake bereits verfügbaren Daten gewonnen werden können, verfügen Sie möglicherweise über zusätzliche Daten aus anderen Systemen. Diese Daten müssen möglicherweise mit Dataverse-Daten kombiniert, neu strukturiert und aggregiert werden. Fabric bietet eine integrierte Umgebung, die erstklassige Tools wie Dataflows, Azure Data Factory und Spark bereitstellt. Verwenden Sie diese Tools, anstatt Tools eigenständig zu konfigurieren und bereitzustellen, wobei Sie die Tools Ihrer Wahl übernehmen. Integrierte Abrechnung, Quellcodeverwaltung und Sicherheit sorgen für eine einfachere Verwaltung und Governance.
  • Sie können weiterhin den Power BI-Dienst für die Berichterstellung nutzen. Fabric führt Direct Lake-Modus-Berichte ein, welche die im Delta oder Parquet-Format integrierten speicherinternen Indizes nutzen, sodass Sie keine Power BI-Importmodusberichte mehr verwenden müssen.

Diese Innovationen führen neben den bereits besprochenen Vorteilen zu durchgängigen Kosteneinsparungen. In den Tabellen hier finden Sie die einzelnen Kostenpositionen sowie einen Vergleich der Vorher- und Nachherlösung. Sie können diese Tabelle als Richtschnur zur Schätzung der zu erwartenden Kosteneinsparungen verwenden.

Einzelposition Kosteneinsparung Kosten vorher – nach Data Lake exportieren Kosten nachher – Fabric Link
Einrichten und Konfiguration Mehrere Tools müssen verwendet werden.
– Für mehrere Softwarelizenzen und Abonnements bezahlen.
– Aufwand für die Systemkonfiguration.
– Aufwand zum Erstellen und Validieren von Datenpipelines.
– Kontinuierliche Governance, Verwaltung und Überwachung.
– Schulung der Benutzenden.
Einfachere Konfiguration in Power Platform.

Fabric-Kapazität kaufen und nutzungsabhängig für alle Dienste bezahlen. Sie bezahlen nur, was Sie nutzen. In manchen Fällen erfolgt die Abrechnung sekundengenau.

Keine ETL-Pipelines für Dataverse-Daten erforderlich.
Daten-Staging (1, 2) Für Azure-Dienste fallen Kosten an.
– Kosten für Azure Storage einschließlich E/A-Kosten.
– Synapse Analytics (serverlose SQL-Abfrage).
– Azure Data Factory-Aufträge für das Kopieren von Daten.
– Staging-Datenspeicher, wie etwa Azure SQL-Datenbank.
Kostenanstieg im Dataverse-Speicher

Wenn Sie beispielsweise 500 GB Daten aus Dynamics 365 synchronisieren, können der Dataverse-Speicher um etwa 100 GB ansteigen (bei einer angenommenen fünf- bis achtfachen Datenkomprimierung).
Betriebskosten – Datenaufbereitung (3) – Azure Storage-Staging-Bereich.
– Datenpipelines.
– Datenerfassung in Azure SQL oder Data Warehouse.
– Entwicklung von Wartungsdaten.
Die Ausgaben werden zu Fabric verlagert, wo Sie für den Verbrauch mit einer gemeinsam genutzten Kapazität bezahlen.
Betriebskosten – Berichterstellung (4)
– Power BI-Datasets.
– Berichterstellung.
Synapse Analytics (SQL-Abfrage).
Power BI-Kapazität und -Speicher für Berichte im Importmodus.
Da Ihre Daten komprimiert werden (beispielsweise 1/3 bis 1/6 der Originalgröße), verringern sich Ihre Berichts- und Abfragekosten entsprechend.

Neue Features wie Direct Lake-Berichterstellung reduzieren den Verbrauch von Power BI-Speicherverbrauch.

Anmerkung

Diese Schätzungen werden bereitgestellt, damit die Ausgaben nach der Umstellung geschätzt werden können. Diese Schätzungen basieren zwar auf den Erfahrungen von Kundschaft mit der Vorschauversion, die tatsächlichen Kosten in Ihrer Umgebung sowie die Datenkomprimierung können jedoch je nach Volumen und Zusammensetzung der Daten variieren.

Das Upgrade auf Azure Synapse Link ist eine Option, die Sie in Betracht ziehen sollten, wenn Sie Fabric derzeit nicht verwenden oder in den kommenden Monaten keine Umstellung planen.

Wie in den Vorher- und Nachher-Diagrammen hier gezeigt, hat die Kundschaft den Dienst „Nach Data Lake exportieren“ (1) sowie die Staging-Datenspeicher (2) mit Azure Synapse Link außer Betrieb genommen. Für das Daten-Staging verwendete Datenspeicher, wie z. B. zwischengeschaltete Azure SQL-Datenbanken, werden außer Dienst gestellt, da Dataverse-Daten im Delta- oder Parquet-Format gespeichert werden – einem leistungsfähigeren und stärker komprimierten Datenformat. Nachgelagerte Pipelines, die zur Datenzusammenführung, -transformation und -aggregation (3) verwendet werden, sowie Präsentationstools (4) wie Power BI bleiben unverändert.

Vor und nach dem Upgrade auf Azure Synapse Link

Azure Synapse Link bietet einen einfachen Upgrade-Pfad für Kundschaft, die ihre bestehenden Investitionen mit minimalen Änderungen ausdehnen möchte. Wie hier besprochen, ermöglichen Innovationen in Dataverse eine einfache Umstellung von Finanz- und Betriebs-App-Diensten wie „Nach Data Lake exportieren“ und BYOD.

  1. Azure Synapse Link ermöglicht eine einfache Konfiguration von Azure-Speicher- und Synapse-Diensten in Power Apps (make.powerapps.com). Mehrere Einschränkungen von „Nach Data Lake exportieren“ wurden entfernt:

    1. Eine einheitliche Erfahrung ermöglicht die Auswahl von Daten aus allen Dynamics 365-Apps, einschließlich aus Finanz- und Betriebs- sowie Kundenbindungs-Apps. Sie können einen einzelnen Dienst verwalten, um Daten aus allen Dynamics 365- und Power Apps-Versionen zu exportieren.
    2. Bei „Nach Data Lake exportieren“ vorhandene Tabellenbeschränkungen entfallen. Sie können bis zu 1.000 Tabellen für jedes Azure Synapse Link-Profil in einem einzelnen Speicherkonto auswählen. Sie können mehrere Profile (Exportpipelines) mit jeweils bis zu 1.000 Tabellen erstellen.
    3. Azure Synapse Link bietet integrierte Unterstützung für die Verwendung von durch die Firewall eingeschränkten Speicherkonten zum Exportieren von Daten.
    4. Azure-Ressourcen müssen nicht konfiguriert werden. Azure Synapse Link stellt Azure-Ressourcen in Ihrem Namen bereit und konfiguriert sie.
    5. Azure Synapse Link exportiert Daten im gleichen Format wie „Nach Data Lake exportieren“ oder BYOD, sodass Sie vorhandene Pipelines beibehalten können.
  2. Sowohl „Nach Data Lake exportieren“ als auch der Datenexportdienst exportieren Daten im CSV-Format. CSV-Dateien sind aufgrund einer schlechter Abfrageleistung sowie gelegentlicher Lese-/Schreibkonflikte nicht für die direkte Verwendung geeignet. Vor der Umstellung wird Azure Data Factory verwendet, um regelmäßig Rohdaten zu erfassen und in eine SQL Azure-Datenbank oder ein Azure Data Warehouse zu konvertieren. Diese Ebene wird im nach der Umstellung nicht mehr benötigt, da Azure Synapse Link Daten in Delta oder Parquet exportiert. Dadurch müssen keine zusätzlichen Datenspeicher mehr für die Zwischenspeicherung und Verbesserung der Abfrageleistung bei gleichzeitiger Vermeidung von Lese-/Schreibkonflikten gepflegt werden.

  3. Verwenden Sie weiterhin Ihre vorhandenen Datenpipelines zum Kombinieren, Neustrukturieren und Aggregieren zusätzlicher Daten aus anderen Systemen.

  4. Nutzen Sie den Power BI-Dienst weiterhin für die Berichterstellung. Fabric führt Direct Lake-Modus-Berichte ein, welche die im Delta oder Parquet-Format integrierten speicherinternen Indizes nutzen, sodass Sie keine Power BI-Importmodusberichte mehr verwenden müssen.

Diese Innovationen führen neben den bereits besprochenen Vorteilen zu durchgängigen Kosteneinsparungen. In den Tabellen hier finden Sie die einzelnen Kostenpositionen sowie einen Vergleich der Vorher- und Nachherlösung. Verwenden Sie diese Tabelle als Richtschnur zur Schätzung der zu erwartenden Kosteneinsparungen.

Einzelposition Kosteneinsparung Kosten vorher – nach Data Lake exportieren Kosten nachher – Azure Synapse Link
Einrichten und Konfiguration Mehrere Tools müssen verwendet werden.
– Für mehrere Softwarelizenzen und Abonnements bezahlen.
– Aufwand für die Systemkonfiguration.
– Aufwand zum Erstellen und Validieren von Datenpipelines.
– Kontinuierliche Governance, Verwaltung und Überwachung.
– Schulung der Benutzenden.
Einfachere Konfiguration in Power Platform.
Keine ETL-Pipelines für Dataverse-Daten erforderlich.
Daten-Staging (1, 2) Für Azure-Dienste fallen Kosten an.
– Kosten für Azure Storage einschließlich E/A-Kosten.
– Synapse Analytics (serverlose SQL-Abfrage).
– Azure Data Factory-Aufträge für das Kopieren von Daten.
– Staging-Datenspeicher, wie etwa Azure SQL-Datenbank.
Bei Azure Synapse Link müssen Sie einen Spark-Pool bereitstellen, um Daten in das Parquet-Format zu konvertieren.

Die Daten für den Spark-Pool können je nach der Häufigkeit der Datensynchronisierung und dem Volumen der Datenänderungen variieren.

Kleine bis mittlere Datenänderungen (pro Monat):
- 600 bis 2.000 $ für stündliche Aktualisierung.
- 1.200 bis 4.100 $ für viertelstündliche Aktualisierung.

Mittlere bis große Datenänderungen (pro Monat):
- 1.200 bis 2.500 $ für stündliche Aktualisierung.
- 2.500 bis 8.300 $ für viertelstündliche Aktualisierung.
Betriebskosten – Datenaufbereitung (3) – Azure Storage-Staging-Bereich.
– Datenpipelines.
– Datenerfassung in Azure SQL Database oder Data Warehouse.
– Entwicklungs- und Wartungsdaten.
Dieselben Kosten wie oben angegeben, Sie müssen jedoch aufgrund der Parquet-Konvertierung möglicherweise keine Dataverse-Daten aggregieren.
Betriebskosten – Berichterstellung (4):
– Power BI-Datasets.
– Berichterstellung.
Synapse Analytics (SQL-Abfrage).
Power BI-Kapazität.
Da Ihre Daten komprimiert werden (beispielsweise 1/3 bis 1/6 der Originalgröße), verringern sich Ihre Berichts- und Abfragekosten entsprechend.

Wichtig

Diese Schätzungen werden bereitgestellt, damit die Ausgaben nach der Umstellung geschätzt werden können. Diese Schätzungen basieren zwar auf den Erfahrungen von Kundschaft mit der Vorschauversion, die tatsächlichen Kosten in Ihrer Umgebung sowie die Datenkomprimierung können jedoch je nach Volumen und Zusammensetzung der Daten variieren.

Beispiel 3: Inkrementelles Erfassen von Daten in ein Data Warehouse

Wenn Sie derzeit inkrementelle Daten aus dem Feature „Nach Data Lake exportieren“ verwenden, um eine nachgelagerte Datenpipeline zu befüllen, können Sie dieselbe Pipeline weiterhin verwenden. Wie hier gezeigt, kann der Azure Synapse Link Dienst inkrementelle Datenänderungen im selben Format exportieren, in dem die Änderungen in „Nach Data Lake exportieren“ einfließen.

Vor und nach dem inkrementellen Datenexport nach Azure Synapse Link

Der Azure Synapse Link-Dienst bietet im Vergleich zu „Nach Data Lake exportieren“ mehrere Verbesserungen für inkrementelle Datenänderungen:

  • Das anfängliche Laden der Daten ist in Änderungsordnern enthalten. Dadurch kann dieselbe Pipeline problemlos sowohl die anfängliche Ladung als auch inkrementelle Aktualisierungen verarbeiten.
  • Bei einer Neuinitialisierung einer Tabelle werden die Änderungsdaten nicht gelöscht.
  • Das System erstellt eine mit Zeitstempel versehene Ordnerstruktur und Metadaten, die Ihnen helfen, die Änderungen in chronologischer Reihenfolge zu lesen. Einmal geschriebene Änderungsdaten werden nie aktualisiert. Dieser Ansatz eignet sich besser für die Verarbeitung von Änderungen mithilfe von Tools zur Big-Data-Erfassung wie Azure Data Factory.
  • Mit Azure Synapse Link können Sie konfigurieren, wie oft die Änderungsfeeds in Ordnern aktualisiert werden sollen, wobei Sie kurze Abstände von bis zu fünf Minuten verwenden können.

Wenn Sie auf Fabric oder Azure Synapse Link umstellen, ändert sich die Kostenänderung bei inkrementellen Datenänderungen nur minimal.

Die Vorteile verstehen – mehr Echtzeit-Berichterstellung

Fabric vereinfacht nicht nur Ihre Datenintegrationsarchitektur, sondern reduziert auch die Notwendigkeit, Daten zu kopieren oder zu replizieren. Das zugrunde liegende Datenformat in Fabric, die Industriestandardformate Delta oder Parquet, kann direkt von Power BI, Dataflows, Notebooks und anderen Workloads genutzt werden, sodass keine Bereiche für Zwischenspeicherung und Staging mehr benötigt werden.

Wenn Sie ein Upgrade auf Azure Synapse Link und mit dem Datenexport fortfahren, werden Ihre Daten im Delta- oder Parquet-Format gespeichert, was die Schritte in Ihren eigenen Datenpipelines für die Betriebsberichterstellung reduzieren kann.

Bedenken Sie, wie lange Sie zum Aktualisieren eines Betriebsberichts benötigen, beispielsweise einer Bestandsanalyse oder einer Finanzanalyse zum Monatsende. Diese Berichte erfordern möglicherweise die Datenaggregation von Millionen von Datenzeilen aus mehreren Tabellen in Dynamics 365 Finance. Mit dem Dienst „Nach Data Lake exportieren“ werden CSV-Daten innerhalb von 10 Minuten exportiert. Diese Daten müssen möglicherweise in einen Power BI-Bericht importiert werden, um bessere Antwortzeiten zu erreichen. Die Power BI-Aktualisierung kann bis zu 24 Mal am Tag (alle 30 Minuten) durchgeführt werden. Je nach Gestaltung des Berichts kann die Aktualisierung mehrere Minuten dauern. Mit diesem Ansatz können Benutzende Daten innerhalb von 60 Minuten nach einer Aktualisierung sehen.

Veralten von Daten mit „Nach Data Lake exportieren“

Betriebsberichte, deren Daten über Fabric Link bezogen werden, können den Direct Lake-Modus oder den DirectQuery-Modus in Fabric nutzen, der wiederum den in Delta- oder Parquet-Dateien integrierten speicherinternen Index nutzt. In diesen Modi müssen Sie keine Aktualisierung von Power BI-Berichten planen, da der Bericht immer die neuesten Dataverse-Daten in Fabric aktualisiert.

Veralten von Daten nach Fabric-Link

Der Fabric Link-Dienst aktualisiert Daten in Dataverse OneLake innerhalb einer Stunde ab diesem Zeitpunkt. Dataverse löst alle 15 Minuten Datenaktualisierungsaufträge aus und je nach Umfang der Datenänderungen werden Ihnen möglicherweise innerhalb von 30 bis 60 Minuten aktualisierte Parquet-Dateien angezeigt.

Wenn Sie inkrementelle Datenfeeds von Dynamics 365 mit dem Dienst „Nach Data Lake exportieren“ für Datenerfassungsszenarien in Quasi-Echtzeit verwenden (Beispiel 3), können Sie bei einem Upgrade auf Azure Synapse Link dieselben Datenpipelines auszuführen.

Bekannte Probleme und Umgehungslösungen

Derzeit gibt es mehrere Einschränkungen, an deren Behebung das Produktteam arbeitet. Verwenden Sie die vorgeschlagene Problemumgehung, bis wir diese Einschränkungen behoben haben. Um mehr über die bevorstehende Roadmap zu erfahren und mit dem Produktteam in Kontakt zu bleiben, treten Sie der Viva Engage-Vorschaugruppe. bei.

Bekannte Probleme Fehlerbehebungen und Problemumgehungen
Wenn Sie eine große Anzahl Tabellen gleichzeitig hinzufügen, erstellt das System eine erste Kopie der Daten.
Es gibt seltene Fälle, insbesondere in kleineren Umgebungen und Tier-2-Sandboxen, in denen sich die betrieblichen Workloads verlangsamen und die Initialisierungszeit erheblich länger werden kann.
Dies kann sich auf kleinere Umgebungen mit weniger Application Object Servern (AOS, Rechenressourcen) auswirken.

In Azure Synapse Link und Fabric-Link können Sie mehrere Tabellen gleichzeitig hinzufügen, indem Sie eine durch Kommas getrennte Liste von Tabellen einfügen. Das System skaliert Initialisierungsworkloads je nach verfügbaren Rechenressourcen bei etwa zwei gleichzeitigen Tabellen pro AOS nach oben und unten.
Wenn Ihre Umgebung beispielsweise über fünf AOS-Server verfügt, initialisiert das System bis zu 10 Tabellen gleichzeitig.



Aktualisieren Sie Ihre Finanz- und Betriebsumgebung auf eine der folgenden Optionen:
– Kumulatives Update PU 63 7.0.7198.95
– Kumulatives Update PU 62 7.0.7120.155.
Dieses Update redigiert varBinary-Felder und varBinary-Anhänge von aus Azure Synapse Link und Fabric Link hinzugefügten Tabellen, das die Auswirkungen auf betriebliche Workloads reduziert.

Beim Hinzufügen von Tabellen erstellt das System eine erste Kopie der Daten. In manchen Fällen, insbesondere bei sehr großen Tabellen, kann die Initialisierung länger dauern oder mehrere Tage lang hängen bleiben Aktualisieren Sie die Umgebung von Finanz- und Betriebs-Apps auf eine der folgenden Optionen:
– Kumulatives Update PU 63 7.0.7198.91
– Kumulatives Update PU 62 7.0.7120.152
Dieses Update ermöglicht eine schnellere Initialisierung großer Tabellen (mehr als 200 Millionen Zeilen).

Wir haben Indizes aktiviert, um eine schnellere Datensynchronisierung zu ermöglichen. Falls in der Betriebsdatenbank eine Transaktion ausgeführt wird, muss mit der Indexerstellung gewartet werden, bis die Transaktion abgeschlossen ist. Die verlängerte Wartezeit, die manchmal auf ruhende Transaktionen zurückzuführen ist, kann den Initialisierungsprozess verzögern. In solchen Fällen kann die Systemadministration die Indexerstellung erkennen und erzwingen.
Falls sich Ihre Dataverse-Umgebung in einer anderen Azure-Region befindet als Ihre Fabric-Kapazität, können Sie das Feature Link zu Fabric nicht verwenden. Ab dem 30. April 2024 können Sie eine Verbindung zu einer Fabric-Kapazität herstellen, die sich innerhalb derselben geografischen Grenze befindet, beispielsweise den Vereinigten Staaten.

Beachten Sie, dass aufgrund der Datenübertragung zwischen Azure-Regionen in Fabric möglicherweise Netzwerkgebühren anfallen.
Falls sich Ihre Dataverse-Umgebung in einer anderen Azure-Region befindet als Ihr Data Lake oder Ihr Synapse-Arbeitsbereich, können Sie das Azure Synapse Link-Feature nicht verwenden. Ab dem 30. April 2024 können Sie eine Verbindung zu Speicherkonto herstellen, das sich innerhalb derselben geografischen Grenze befindet, beispielsweise den Vereinigten Staaten.

Beachten Sie, dass bei Azure-Ressourcen wie Data Lakes möglicherweise Netzwerkgebühren anfallen, wenn sich diese nicht in derselben Azure-Region befinden.
Mit der AOS-Autorisierung können vertrauliche Datenfelder in Finanz- und Betriebs-Apps vor Datenexfiltrationsszenarien geschützt werden.
Wenn die ausgewählte Tabelle Datenspalten enthält, die über eine AOS-Autorisierung gesichert sind, werden diese Spalten ignoriert und die exportierten Daten enthalten die Spalte nicht.

Beispielsweise ist in der benutzerdefinierten Tabellenspalte TaxLicenseNum die Metadateneigenschaft AOS Authorization auf Ja gesetzt. Diese Spalte wird ignoriert
Aktualisieren Sie Ihre Finanz- und Betriebsumgebung auf diese oder höhere Versionen:
- PU 63:7.0.7198.105
- PU 62:7.0.7120.159
Mit diesem Update werden den Tabellen AOS-Autorisierungsfelder hinzugefügt.
– Inkrementelle Updates schließen diese Spalte ein.
– Geänderte Datensätze zeigen diese Spalten und Werte.
– Die vollständige Aktualisierung umfasst diese Felder und alle Werte.
Wenn die ausgewählte Tabelle Datenspalten enthält, die über den Typ Array gesichert sind, werden diese Spalten ignoriert und die exportierten Daten enthalten die Spalte nicht.

Beispielsweise haben in einer benutzerdefinierten Tabelle mit dem Namen WHSInventTable die Spalten FilterCode und FilterGroup den Typ Array. Diese Spalten werden nicht mit Azure Synapse Link exportiert.
Aktualisieren Sie Ihre Finanz- und Betriebsumgebung auf diese oder höhere Versionen:
- PU 65 7.0.7367.0
- PU 64:7.0.7279.115
- PU 63:7.0.7198.186
Mit diesem Update werden den Tabellen Felder des Array-Typs hinzugefügt.
– Inkrementelle Updates schließen diese Spalte ein.
– Geänderte Datensätze zeigen diese Spalten und Werte.
- Eine vollständige Aktualisierung enthält diese Felder und alle Werte.
– Arrayfelder vom Aufzählungstyp sind derzeit von den Synapse Link- und Fabric Link-Features ausgeschlossen.
Bei Tabellen von Finanz- und Betriebs-Apps mit einem gültigen Zeitstempelverhalten werden nur die aktuell gültigen Datenzeilen mit Azure Synapse Link exportiert.

Beispielsweise enthält die ExchangeRate-Tabelle sowohl aktuelle als auch frühere Wechselkurse. In Azure Synapse Link werden nur aktuell gültige Wechselkurse exportiert.
Aktualisieren Sie Ihre Finanz- und Betriebsumgebung auf
– Version 10.0.38 (PU62), Plattformaktualisierung 7.0.7120.179
– Version 10.0.39 (PU63), Plattformaktualisierung 7.0.7198.143
– Version 10.0.40 (PU64), Plattformaktualisierung 7.0.7279.58

Mit diesem Update werden abgelaufene Datenzeilen Tabellen hinzugefügt. Sie müssen eine vollständige Aktualisierung durchführen, um vorherige Zeilen einzuschließen.
Tabellenvererbung und abgeleitete Tabellen sind Konzepte in Finanz- und Betriebs-Apps. Beim Auswählen einer abgeleiteten Tabelle aus Finanz- und Betriebs-Apps werden Spalten aus der entsprechenden Basistabelle derzeit nicht einbezogen.

Wenn Sie z. B. die DirPerson-Tabelle auswählen (eine Tabelle, die von DirPartyTable, auch als Basistabelle bekannt, abgeleitet wird), enthalten die exportierten Daten Felder aus der Basistabelle DirPartyTable.
Sie müssen zusätzlich zur abgeleiteten Tabelle die Basistabelle auswählen, wenn Sie Zugriff auf diese Spalten benötigen.
Sie können diese über GitHub bereitgestellte FastTrack-Lösung verwenden. Diese Lösung erstellt Ansichten, die Spalten aus Basistabellen enthalten.
Exportieren Sie mehr als 1.000 Tabellen über Azure Synapse Link oder fügen Sie mehr als 1.000 Tabellen zu Fabric Link hinzu. Wenn Sie Azure Synapse Link verwenden, umgehen Sie dieses Problem, indem Sie zwei oder mehr Profile erstellen, die weniger als 1.000 Tabellen enthalten.

Sie können davon ausgehen, dass Sie in einem zukünftigen Update mehr als 1.000 Tabellen in Fabric Link und in einem Azure Synapse Link Profil auswählen können.
In einem Azure Synapse Link-Profil enthaltene Tabellen für Finanz- und Betriebs-Apps können nicht mithilfe der Profilimport- und -exportfunktion in Azure Synapse Link in eine andere Umgebung migriert werden. Bis dieses Problem behoben ist, fügen Sie dieselben Tabellen zur neuen Umgebung hinzu. Kopieren Sie eine durch Kommas getrennte Liste von Tabellen und fügen Sie sie in das Suchfeld innerhalb der Option „Tabellen verwalten“ ein, um eine Liste von Tabellen auf einmal auszuwählen.
Azure Synapse Link oder Fabric Link erlaubt Tabellen, bei denen die Eigenschaft zur Änderungsnachverfolgung aktiviert ist.
Derzeit kann die Änderungsnachverfolgung nicht für alle Finanz- und Betriebsentitäten aktiviert werden. Die Option Änderungen nachverfolgen ist für Entitäten, die in der Vergangenheit in den Bereichen Finanzen und Betrieb zur Datenmigration erstellt wurden, nicht verfügbar.
Bei einigen Entitäten schlägt die Aktivierung der Änderungsnachverfolgung möglicherweise mit der Fehlermeldung Ausgewählte Entität erfüllt die Validierungsregeln nicht fehl oder das Kontrollkästchen Änderungen verfolgen ist für einige Entitäten deaktiviert.
Weitere Informationen zu Entitätsvalidierungsregeln und wie Sie diese festlegen können, finden Sie unter Nachverfolgung von Zeilenversionsänderungen für Datenentitäten aktivieren. Möglicherweise brauchen Sie Unterstützung von der Entwicklung, um die Schritte auszuführen.
Wenn die ausgewählte Entität aufgrund der Einschränkung der Änderungsnachverfolgung nicht verfügbar ist, wählen Sie die Tabellen aus, die die Daten dieser Entität enthalten.
Sie können die vom FastTrack-Team bereitgestellte EntityUtil-Lösung verwenden, um Entitätsformen mithilfe von Tabellen zu erstellen.
Im Falle eines Datenbankwiederherstellungsvorgangs in Dataverse werden die in Azure Synapse Link aktivierten Finanz- und Betriebseinheiten entfernt. Um Entitäten wieder zu aktivieren, aktivieren Sie die entsprechenden virtuellen Tabellen für alle ausgewählten Entitäten erneut, aktivieren Sie die Änderungsnachverfolgung erneut und wählen Sie die Tabellen in Azure Synapse Link erneut aus. Sie können eine durch Kommas getrennte Liste von Tabellen kopieren und Sie sie in das Suchfeld innerhalb der Option „Tabellen verwalten“ einfügen, um eine Liste von Tabellen auf einmal auszuwählen.
Zu einem Azure Synapse Link-Profil hinzugefügte Finanz- und Betriebs-App-Tabellen werden möglicherweise entfernt, wenn eine Sicherung in Dataverse wiederhergestellt wird. Nach einem Datenbankwiederherstellungsvorgang müssen Sie dem Profil Finanz- und Betriebstabellen hinzufügen. Gehen Sie zu Bekannte Einschränkungen bei Finanz- und Betriebstabellen für Details zum erneuten Aktivieren von Tabellen nach einer Datenbankwiederherstellung.
Die Freigabe von Unternahmensmasterdaten ist in Finanz- und Betriebs-Apps eine Vorschaufunktion. Tabellen, die an dem Feature für die gemeinsame Nutzung von Masterunternehmensdaten beteiligt sind, werden derzeit nicht mit den Link-Features von Synapse Link oder Fabric unterstützt. Obwohl diese Tabellen ausgewählt werden können, sind exportierte Daten möglicherweise mit ungültigen Datenbereichen verknüpft. Es sind derzeit keine Problemumgehungen für dieses Problem bekannt.

Häufig gestellte Fragen

Der Dienst „Nach Data Lake“ exportieren funktioniert bei uns gut. Warum haben Sie diese Dienste eingestellt?

Im Rahmen des Projekts zur Vereinheitlichung der Dynamics 365-Plattform haben wir mehrere Dienste, die Daten in Dynamics 365-Anwendungen „exportiert“ haben, unter dem Markennamen Synapse Link für Dataverse zu einem einzigen Dienst zusammengefasst. Mit unseren Erkenntnissen haben wir viele Unzulänglichkeiten bestehender Dienste in Synapse Link behoben und dabei aber die gleichen Datenformate beibehalten, sodass Sie Ihre Investitionen mit minimalen Unterbrechungen aufrüsten können. Der Fabric Link-Dienst ist eine neue Lösung ohne Kopieren und ETL, mit der Sie Innovationen in Fabric nutzen können, ohne in Datenpipelines investieren zu müssen. Es handelt sich um ein „schreibgeschütztes Replikat“ Ihrer Daten für autorisierte Benutzer in Fabric.

Wurde der BYOD-Dienst eingestellt? Gibt es ein Datum für die Einstellung?

Im Rahmen des Projekts zur Vereinheitlichung der Dynamics 365-Plattform haben wir mehrere Dienste, die Daten in Dynamics 365-Anwendungen „exportiert“ haben, zusammengefasst. BYOD ist ein Dienst, der Entitätsdaten in die Azure SQL-Datenbank des Kunden exportiert. Obwohl wir noch kein Datum für die Einstellung des BYOD-Dienstes bekanntgegeben haben, sollten Sie auf die Synapse Link- oder Fabric Link-Dienste umstellen. Der Fabric Link-Dienst ist eine neue Lösung ohne Kopie und ETL, mit der Sie Ihre Daten mit SQL abfragen können, ähnlich wie bei einem „schreibgeschützten Replikat“ Ihrer Daten in Fabric.

Im Rahmen des Projekts zur Vereinheitlichung der Plattform haben wir mehrere Dienste, die Daten in Dynamics 365-Anwendungen „exportiert“ haben, unter dem Markennamen Synapse Link für Dataverse zu einem Dienst zusammengefasst. Wir haben auch Fabric Link eingeführt, eine No-Copy- und No-ETL-Lösung, mit der Sie Innovationen in Fabric nutzen können, ohne in Datenpipelines investieren zu müssen. Es handelt sich um ein „schreibgeschütztes Replikat“ Ihrer Daten für autorisierte Benutzer in Fabric.

Während sich viele Kunden über die Einführung von Fabric freuen, verstehen wir auch, dass einige Kunden weiterhin Daten exportieren und ihre eigenen Integrationspipelines erstellen möchten. Wir möchten ihnen die Möglichkeit geben, auch weit in der Zukunft noch Daten zu exportieren.

Wird der Export in den Data Lake-Dienst nach dem 1. November 2024 eingestellt?

Der „Nach Data Lake exportieren“-Dienst wird nach dem Abschalttermin in der Weihnachtszeit weiter ausgeführt. Unsere Unterstützung wird jedoch begrenzt sein. Sie können das Risiko reduzieren, indem Sie jetzt mit dem Übergangsprozess beginnen. Wir planen, den „Nach Data Lake exportieren“-Dienst ab dem 25. März 2025 außer Betrieb zu nehmen, da unsere Kundschaft auf Synapse Link- und Fabric Link-Dienste umsteigt. Sie können der Community beitreten und in wöchentlichen Sprechstunden Feedback geben aka.ms/SynapseLinkforDynamics.

Meine Umstellung geht eventuell über den Abschalttermin hinaus. Gibt es einen Prozess, um eine Verlängerung zu erhalten?

Der „Nach Data Lake exportieren“-Dienst wird nach dem Abschalttermin in der Weihnachtszeit weiter ausgeführt. Unsere Unterstützung wird jedoch begrenzt sein. Sie können das Risiko reduzieren, indem Sie jetzt mit dem Übergangsprozess beginnen. Um Kunden zu helfen, die mehr Zeit für die Umstellung benötigen, haben wir eine produktinterne Option zur Selbstverlängerung eingeführt. Sie können eine einmalige Verlängerung bis zum 15. Februar 2025 beantragen. Um die Laufzeit selbst zu verlängern, gehen Sie zu dem Azure Synapse Link-Bereich in Power Apps (make.powerapps.com). Diese Option gilt für jede Umgebung und ist für Umgebungen sichtbar, die mit Finanzen und Betrieb verknüpft sind.

Siehe auch

Was ist Azure Synapse Link for Dataverse?

Verknüpfen Sie Ihre Dataverse-Umgebung mit Microsoft Fabric und gewinnen Sie tiefe Einblicke