Migrieren von Azure Data Factory zu Data Factory in Microsoft Fabric
Dieser Artikel zielt auf Azure Data Factory- und Synapse Gen2-Pipelineersteller ab. Es bietet Ihnen Anleitungen und Gründe, um Ihre Pipelines zu Data Factory für Microsoft Fabric zu modernisieren und zu migrieren.
Hintergrund
Microsoft Fabric ist eine integrierte Plattform für Self-Service- und IT-verwaltete Unternehmensdaten. Mit exponentiellem Wachstum in Datenvolumen und Komplexität fordern Fabric-Kunden Unternehmenslösungen, die sicher, einfach zu verwalten und für alle Benutzer in den größten Organisationen zugänglich sind.
In den letzten Jahren investierte Microsoft erhebliche Arbeit, um skalierbare Cloudfunktionen für Kunden bereitzustellen. Zu diesem Zweck ermöglicht Data Factory in Fabric ein großes Ökosystem von Datenintegrationsentwicklern und Datenintegrationslösungen, die über Jahrzehnte aufgebaut wurden, um den vollständigen Satz von Features und Funktionen zu nutzen, die weit über vergleichbare Funktionen hinausgehen, die in früheren Generationen verfügbar sind.
Natürlich fragen Kunden, ob es eine Möglichkeit gibt, ihre Datenintegrationslösungen in Fabric zu konsolidieren. Sie stellen häufig Fragen wie:
- Funktioniert die gesamte Funktionalität, auf die wir angewiesen sind, in Fabric-Pipelines?
- Welche Funktionen sind nur in Fabric-Pipelines verfügbar?
- Wie migrieren wir vorhandene Pipelines zu Fabric-Pipelines?
- Was ist die Roadmap von Microsoft für die Erfassung von Unternehmensdaten?
Antworten auf viele dieser Fragen werden in diesem Artikel gegeben.
Hinweis
Die Entscheidung zur Migration zu Fabric-Kapazitäten hängt von den Anforderungen der einzelnen Kunden ab. Kunden sollten andere Vorteile sorgfältig auswerten, um eine fundierte Entscheidung zu treffen. Wir erwarten, dass die organische Migration zu Fabric-Pipelines im Laufe der Zeit erfolgt, und unsere Absicht ist, dass dies zu Bedingungen geschieht, mit denen jeder Kunde einverstanden ist.
Um klarzustellen, gibt es derzeit keine Pläne, Azure Data Factory oder Synapse Gen2 für die Datenaufnahme außer Betrieb zu nehmen. Es gibt eine Priorität, sich auf Fabric-Pipelines für die Erfassung von Unternehmensdaten zu konzentrieren, sodass der zusätzliche Wert, der von Fabric-Kapazitäten bereitgestellt wird, im Laufe der Zeit erhöht wird. Kunden, die Fabric-Kapazitäten auswählen, können von der Ausrichtung an die Microsoft Fabric-Produktroadmap profitieren.
Konvergenz der Integration von Unternehmens- und Self-Service-Daten
Die Konsolidierung von Elementen in Fabric vereinfacht die Ermittlung, Zusammenarbeit und Verwaltung durch die Verlagerung von Ressourcen. Auf diese Weise können zentrale IT-Teams mission-kritische Datenbewegungen und Transformationsdienste operationalisieren, die an Unternehmensstandards ausgerichtet sind, einschließlich Datenherkunft und Überwachung, und so die Integration beliebter Self-Service-Elemente erleichtern.
Um die kollaborativen und skalierbaren Anforderungen von Organisationen zu unterstützen, führen Fabric-Pipelines Office 365- und Teams-Aktivitäten zum Senden von Nachrichten, nahtlose Aktualisierungen von Power BI-Semantikmodellen und robuste Governance-Features ein, die Organisationen beim Verwalten von Datenlinien und Pipelineüberwachung unterstützen. Durch die Integration von generativen KI über Copilot wird die Pipelineerfahrung weiter verbessert, indem intelligente Erklärungen zur Pipelinegenerierung und Fehlerauflösung angeboten werden, wodurch die Erstellung und Verwaltung komplexer Lösungen vereinfacht wird.
Durch die Nutzung einer gemeinsamen Plattform wird der Workflow optimiert und die Lösungsentwicklung zwischen Unternehmen und IT verbessert. Dadurch können Organisationen ihre Datenlösungen auf Unternehmensebenen skalieren, um hohe Leistung, Flexibilität und Effizienz bei der Verwaltung großer Datenmengen sicherzustellen.
Fabric-Kapazitäten
Aufgrund der verteilten Architektur sind Fabric-Kapazitäten weniger empfindlich für die Gesamtlast, zeitliche Spitzen und hohe Parallelität. Durch die Konsolidierung der Kapazitäten auf größere Fabric-Kapazitäts-SKUs können Kunden eine höhere Leistung und einen höheren Durchsatz erzielen.
Merkmalsvergleich
In der folgenden Tabelle sind features aufgeführt, die in Azure Data Factory und Fabric Data Factory unterstützt werden.
| Funktion | Azure Data Factory | Stoffdatenfabrik |
|---|---|---|
| Pipelineaktivitäten | ||
| Office 365- und Microsoft Teams Aktivitäten ermöglichen es Ihnen, Nachrichten nahtlos zu senden und damit eine effiziente Kommunikation und Zusammenarbeit in Ihrer Organisation zu fördern. | Nein | Ja |
| Stellen Sie Verbindungen mit Ihrem Power BI-Semantikmodell und Dataflow Gen2 her, um sicherzustellen, dass Ihre Daten konsistent aktualisiert werden und auf dem neuesten Stand sind. | Nein | Ja |
| Sie können mithilfe einer Prüfung in einer Pipeline sicherstellen, dass diese die Ausführung nur fortsetzt, nachdem sie überprüft hat, ob der angefügte Datasetverweis vorhanden ist und die angegebenen Kriterien erfüllt oder ob das Timeout erreicht wurde. | Ja | Ja1 |
| Ausführen eines SQL Server Integration Services (SSIS)--Pakets zum Ausführen von Datenintegrations- und Transformationsvorgängen | Ja | Geplant |
| Datentransformation | ||
| Visuell gestaltete Datenumwandlungen unter Verwendung von Apache Spark-Clustern mit Mapping Dataflows, um Datenumwandlungsprozesse über eine grafische Benutzeroberfläche zu erstellen und zu verwalten. | Ja | Nein2 |
| Visuell gestaltete Datenumwandlungen mithilfe der Fabric-Rechenmaschine mit der intuitiven grafischen Benutzeroberfläche von Power Query in Dataflow Gen2 | Nein | Ja |
| Konnektivität | ||
| Unterstützung für alle Data Factory-Datenquellen | Ja | In Bearbeitung3 |
| Skalierbarkeit | ||
| Sicherstellen der nahtlosen Ausführung von Aktivitäten in einer Pipeline mit geplanten Ausführungen | Ja | Ja |
| Planen mehrerer Ausführungen für eine einzelne Pipeline für flexible und effiziente Pipelineverwaltung | Ja | Geplant |
| Verwenden von Triggern für rollierende Fenster zum Planen von Pipelineausführungen innerhalb von unterschiedlichen, sich nicht überlappenden Zeitfenstern | Ja | Geplant |
| Ereignistrigger zum Automatisieren der Ausführung von Pipeline-Durchläufen als Reaktion auf bestimmte oder relevante Ereignisse | Ja | Ja4 |
| Künstliche Intelligenz | ||
| Copilot für Data Factory für intelligente Pipelinegenerierung zum einfachen Erfassen von Daten und Erklärungen, um komplexe Pipelines besser zu verstehen oder Vorschläge für Fehlermeldungen bereitzustellen | Nein | Ja |
| Content Management | ||
| Datenlinienansicht, die Benutzern helfen, Pipelineabhängigkeiten zu verstehen und zu bewerten | Nein | Ja |
| Bereitstellungspipelines, die den Lebenszyklus von Inhalten verwalten | Nein | Ja |
| Plattformskalierbarkeit und Resilienz | ||
| Premium-Kapazität-Architektur, die erhöhte Skalierung und Leistung unterstützt | Nein | Ja |
| Multi-Geo--Unterstützung, die multinationalen Kunden dabei hilft, regionale, branchenspezifische oder organisatorische Datenresidenzanforderungen zu erfüllen | Ja | Ja |
| Sicherheitsmaßnahmen | ||
| Virtual Network-Datengateway-Konnektivität, wodurch Fabric nahtlos im virtuellen Netzwerk einer Organisation arbeiten kann | Nein | Geplant |
| Konnektivität mit dem lokalen Datengateway, was den sicheren Zugriff auf Daten zwischen den lokalen Datenquellen einer Organisation und Fabric-Elementen ermöglicht | Nein | Ja |
| Azure -Diensttags Unterstützung. Dabei handelt es sich um eine definierte Gruppe von IP-Adressen, die automatisch verwaltet werden, um die Komplexität von Updates oder Änderungen an Netzwerksicherheitsregeln zu minimieren. | Ja | Ja |
| Governance | ||
| Inhalte Billigung, um wertvolle, hochwertige Stoffartikel zu fördern oder zu zertifizieren | Nein | Ja |
| Microsoft Purview-Integration, wodurch Kunden Fabric-Elemente verwalten und steuern können | Ja | Ja |
| Microsoft Information Protection (MIP) Vertraulichkeitsbezeichnungen und Integration mit Microsoft Defender for Cloud Apps zur Verhinderung von Datenverlust | Nein | Ja |
| Überwachungs- und Diagnoseprotokollierung | ||
| Protokollieren von Pipelineausführungsereignissen in einem Ereignisspeicher zum Überwachen, Analysieren und Beheben von Problemen mit der Pipelineleistung | Ja | Geplant |
| Überwachungszentrum, das Überwachungsfunktionen für Fabric-Elemente bereitstellt | Nein | Ja |
| Microsoft Fabric-Kapazitätsmetriken-App, die Überwachungsfunktionen für Fabric-Kapazitäten bereitstellt | Nein | Ja |
| Überwachungsprotokoll, das Benutzeraktivitäten in Fabric und Microsoft 365 nachverfolgt | Nein | Ja |
1 Verwenden Sie die Aktivität Get metadata, Until und If condition für einen entsprechenden Metadatenabruf der Überprüfungsaktivität.
2 Verwenden Sie die Remotepipelinefunktion „Invoke“ (Aufrufen), um die Zuordnungsdatenflussaktivitäten auszuführen. Weitere Informationen finden Sie unter Invoke Pipelineaktivität.
3 Informationen zum Anzeigen der Connectors, die derzeit für Datenpipelines unterstützt werden, finden Sie unter Pipelineunterstützung.
4 Verwenden Sie Fabric-Ereignisstreams und Reflex, um Ausführungsereignisse auszulösen. Weitere Informationen finden Sie unter Pipeline-Ereignistrigger.
Überlegungen
Es gibt einige weitere Überlegungen, die Sie bei der Planung berücksichtigen müssen, bevor Sie zu Fabric-Pipelines migrieren.
Lizenzierung
Fabric-Pipelines erfordern mindestens eine Microsoft Fabric-Lizenz (Free), um in einem Arbeitsbereich mit Premium-Kapazität zu erstellen. Weitere Informationen finden Sie unter Fabric-Lizenzen.
Fahrplan
In der Dokumentation des Microsoft Fabric-Releaseplans werden den Kunden die neuesten Updates und Zeitpläne angekündigt, während neue Funktionen für zukünftige Versionen vorbereitet werden, einschließlich der neuen und geplanten Funktionen für Data Factory in Microsoft Fabric.
Weitere Informationen finden Sie in Microsoft Fabric-Versionsplandokumentation.
Verwandte Inhalte
Erfahren Sie, wie Sie die Migration von ADF zu Fabric Data Factoryplanen.