Dieser Artikel enthält Antworten auf häufig gestellte Fragen zu Data Factory in Microsoft Fabric.
Data Factory in Fabric
Was ist der Unterschied zwischen der Registerkarte Data Factory und Data Engineering in Fabric?
Data Factory unterstützt Sie bei der Lösung komplexer Datenintegrations- und ETL-Szenarien mit Datenverschiebungs- und Datentransformationsdiensten im Cloud-Maßstab, während Data Engineering Sie bei der Erstellung von Lake Houses und der Verwendung von Apache Spark zur Transformation und Aufbereitung Ihrer Daten unterstützt. Unterschiede zwischen den einzelnen Fabric-Terminologien/Erfahrungen stehen unter Microsoft Fabric-Terminologie zur Verfügung.
Wie kann ich die Kapazität von Fabric nachverfolgen und überwachen, die mit den Pipelines verwendet wird?
Microsoft Fabric-Kapazitätsadministratoren können die Microsoft Fabric-Kapazitätsmetriken-App verwenden, die auch als Metrik-App bezeichnet wird, um Einblicke in Kapazitätsressourcen zu erhalten. Mit dieser App können Administratoren sehen, wie viel CPU-Auslastung, Verarbeitungszeit und Arbeitsspeicher von Datenpipelines, Datenflüssen und anderen Elementen in ihren Fabric-Arbeitsbereichen genutzt werden. Verschaffen Sie sich einen Überblick über Überlastungsursachen, Spitzenbedarfszeiten, Ressourcenverbrauch und mehr und identifizieren Sie einfach die anspruchsvollsten oder beliebtesten Elemente.
Welcher Ansatz wird für das Zuweisen von Rollen in Data Factory in Fabric empfohlen?
Sie können die verschiedenen Arbeitslasten zwischen Arbeitsbereichen trennen und die Rollen wie Mitglied und Betrachter verwenden, um einen Arbeitsbereich für Data Engineering zu haben, der Daten für einen Arbeitsbereich vorbereitet, der für Berichte oder KI-Training verwendet wird. Mit der Viewerrolle können Sie dann Daten aus dem Data Engineering-Arbeitsbereich nutzen.
Ist es möglich, eine Verbindung zu bestehenden Private Endpoint (PE)-fähigen Ressourcen in der Fabric Data Factory herzustellen?
Derzeit bietet das Virtual Network-Gateway eine Injektionsmethode zur nahtlosen Integration in Ihr virtuelles Netzwerk, die eine robuste Möglichkeit zur Nutzung privater Endpunkte bietet, um sichere Verbindungen zu Ihren Datenspeichern herzustellen. Es ist wichtig zu beachten, dass das Virtual Network-Gateway derzeit nur Fabric-Datenfluss aufnehmen kann. Unsere bevorstehenden Initiativen umfassen jedoch die Erweiterung seiner Fähigkeiten auf Fabric-Pipelines.
Wie kann ich eine Verbindung mit lokalen Datenquellen in Fabric Data Factory herstellen?
Wenn Sie das lokale Daten-Gateway verwenden, können Sie jetzt mithilfe von Datenflüssen und Datenpipelines (Vorschau) mit Data Factory in Microsoft Fabric eine Verbindung zu lokalen Datenquellen herstellen. Weitere Informationen finden Sie unter Zugreifen auf lokale Datenquellen in Data Factory.
Releaseupdates und Preise
Wo finde ich monatliche Updates in Fabric?
Monatliche Fabric-Updates sind im Microsoft Fabric-Blog verfügbar.
Was ist Fabric Data Factory Pricing/Abrechnungsmodell?
Data Factory-Preise in Microsoft Fabric bieten einen umfassenden Leitfaden zur Berechnung der Kosten für Datenpipelines und Dataflow Gen2. Es enthält mehrere Szenarien für Preisbeispiele, die Ihnen helfen, das Preismodell besser zu verstehen.
Wo finde ich weitere Informationen zu bevorstehenden Features, die für die Data Factory in Microsoft Fabric geplant sind?
Neuerungen und Planungen für Data Factory in Microsoft Fabric bieten Einblicke in bevorstehende Features und deren voraussichtliche Veröffentlichungszeiträume in den nächsten Monaten.
Datenpipelines
Wie schnell kann ich Daten in Fabric Data Pipelines erfassen?
Fabric Data Factory ermöglicht es Ihnen, Pipelines zu entwickeln, die den Datenverschiebungsdurchsatz für Ihre Umgebung maximieren. Diese Pipelines nutzen die folgenden Ressourcen vollständig:
- Netzwerkbandbreite zwischen den Quell- und Zieldatenspeichern
- Quell- oder Zieldatenspeicher-Eingabe-/Ausgabevorgänge pro Sekunde (IOPS) und Bandbreite. Diese volle Auslastung bedeutet, dass Sie den Gesamtdurchsatz durch Messung des Mindestdurchsatzes einschätzen können, der mit den folgenden Ressourcen zur Verfügung steht:
- Quelldatenspeicher
- Zieldatenspeicher
- Netzwerkbandbreite zwischen den Quell- und Zieldatenspeichern Inzwischen arbeiten wir kontinuierlich an Innovationen, um den bestmöglichen Durchsatz zu erzielen, den Sie erreichen können. Heute kann der Dienst 1 TB TPC-DI-Datensatz (Parkettdateien) innerhalb von 5 Minuten sowohl in die Fabric Lakehouse-Tabelle als auch in das Data Warehouse verschieben - 1B Zeilen werden in weniger als 1 Minute verschoben; beachten Sie, dass diese Leistung nur ein Referenzwert ist, indem der oben genannte Testdatensatz ausgeführt wird. Der tatsächliche Durchsatz hängt weiterhin von den zuvor aufgeführten Faktoren ab. Darüber hinaus können Sie Ihren Durchsatz jederzeit vervielfachen, indem Sie mehrere Kopiervorgänge parallel ausführen. Verwenden Sie z. B. die ForEach-Schleife.
Wird das CDC-Feature in Data Factory in Fabric verfügbar sein?
Unser aktueller Fokus umfasst die aktive Entwicklung der CDC-Funktion in Data Factory in Fabric. Mit dieser neuen Funktion können Sie Daten über mehrere Datenquellen hinweg verschieben und dabei verschiedene Kopiermuster wie Massen-/Batch-Kopiermuster, inkrementelle/kontinuierliche Kopiermuster (CDC) und Echtzeit-Kopiermuster in einer 5x5-Erfahrung kombinieren.
Dataflows Gen2
Ähnelt Fabric Dataflow Gen2 der in Azure Data Factory eingebetteten Power Query?
Die Power Query-Aktivität in ADF hat Ähnlichkeiten mit Dataflow Gen2, verfügt aber über zusätzliche Funktionen, die Aktionen wie das Schreiben in bestimmte Datenziele usw. ermöglichen. Dieser Vergleich ist eher mit Dataflows Gen1 (Power BI Dataflows oder Power Apps-Dataflows) zu vergleichen. Weitere Details erhalten Sie hier: Unterschiede zwischen Dataflows Gen1 und Dataflow Gen2.
Innerhalb von Fabric DataFlow Gen2 treffe ich gelegentlich auf Features wie DataflowsStaginglakehouse/DataflowsStagingwarehouse. Was sind diese Funktionen?
Bei bestimmten Benutzeroberflächen können Systemartefakte auftreten, die nicht für die Interaktion vorgesehen sind. Es ist am besten, diese Artefakte zu ignorieren, da sie in Zukunft aus den Get Data-Erfahrungen entfernt werden.
Beim Aktualisieren wurde folgende Fehlermeldung angezeigt: „Fehler bei der Aktualisierung des Dataflows aufgrund unzureichender Berechtigungen für den Zugriff auf Staging-Artefakte.“ Wie sollte ich vorgehen?
Zu dieser Fehlermeldung kommt es, wenn der Benutzer, der den ersten Dataflow im Arbeitsbereich erstellt hat, sich seit mehr als 90 Tagen nicht mehr bei Fabric angemeldet oder die Organisation verlassen hat. Zur Behebung des Problems muss sich der in der Fehlermeldung erwähnte Benutzer bei Fabric anmelden. Wenn der Benutzer die Organisation verlassen hat, öffnen Sie ein Supportticket.
Unterstützung und Migrationspfad von ADF/Synapse-Pipelines
Wie sieht die Zukunft von Azure Data Factory (ADF) und Synapse Pipelines aus?
Azure Data Factory (ADF) und Azure Synapse-Pipelines verwalten eine separate Platform as a Service (PaaS)-Roadmaps. Diese beiden Lösungen sind weiterhin zusammen mit Fabric Data Factory vorhanden, die als SaaS-Angebot (Software as a Service) dient. ADF- und Synapse-Pipelines bleiben vollständig unterstützt, und es gibt keine Pläne für eine Abschreibung. Es ist wichtig zu betonen, dass wir Fabric Data Factory für alle anstehenden Projekte empfehlen. Darüber hinaus haben wir Strategien, um den Übergang von ADF- und Synapse-Pipelines zu Fabric Data Factory zu erleichtern, sodass sie neue Fabric-Funktionen nutzen können. Weitere Informationen dazu finden Sie hier.
Welche Gründe sprechen angesichts der Funktionslücken in der öffentlichen Vorschau der Data Factory dafür, diese den ADF/Synapse-Pipelines vorzuziehen?
Da wir uns bemühen, Funktionslücken zu schließen und die robusten Datenpipeline-Orchestrierungs- und Workflow-Funktionen, die in ADF / Azure Synapse-Pipelines zu finden sind, in Fabric Data Factory zu integrieren, berücksichtigen wir, dass bestimmte Funktionen, die in ADF / Synapse-Pipelines vorhanden sind, für Ihre Bedürfnisse von wesentlicher Bedeutung sein könnten. Sie können zwar weiterhin ADF/Synapse-Pipelines verwenden, wenn diese Funktionen erforderlich sind, aber wir empfehlen Ihnen, zunächst Ihre neuen Datenintegrationsmöglichkeiten in Fabric zu erkunden. Ihr Feedback darüber, welche Features für Ihren Erfolg von entscheidender Bedeutung sind, ist von unschätzbarem Wert. Um dies zu erleichtern, arbeiten wir aktiv an der Einführung einer neuen Funktion, wodurch auch die Migration Ihrer vorhandenen Datenfabriken von Azure in Fabric-Arbeitsbereiche ermöglicht wird.
Sind neue Features in Fabric Data Factory auch in ADF/Synapse verfügbar?
Wir portieren keine neuen Features aus Fabric-Pipelines in ADF-/Synapse-Pipelines zurück. Wir pflegen zwei separate Roadmaps für Fabric Data Factory und ADF/Synapse. Wir bewerten Rückportanfragen als Reaktion auf eingehendes Feedback.
Entsprechen Fabric Data Pipelines der Azure Synapse-Pipeline?
Die Hauptfunktion der Fabric-Pipeline ähnelt der Azure Synapse-Pipeline, aber mithilfe der Fabric-Pipeline können Benutzer alle Datenanalysefunktionen auf der Fabric-Plattform anwenden. Wichtige Unterschiede und Featurezuordnungen zwischen Fabric-Pipeline und Azure Synapse-Pipeline finden Sie hier: Unterschiede zwischen Data Factory in Fabric und Azure.
Wie kann ich vorhandene Pipelines aus dem Azure Data Factory (oder) Azure Synapse-Arbeitsbereich zu Fabric Data Factory migrieren?
Um den Übergang von Azure Data Factory (ADF) zu Microsoft Fabric zu erleichtern, bieten wir eine Reihe wesentlicher Features und Supportmechanismen an. Erstens bieten wir umfassende Unterstützung für die meisten Aktivitäten, die in ADF innerhalb von Fabric verwendet werden, sowie das Hinzufügen neuer Aktivitäten, die auf Benachrichtigungen zugeschnitten sind, z. B. Teams- und Outlook-Funktionen. Kunden können auf eine detaillierte Liste der verfügbaren Aktivitäten in Data Factory in Fabric zugreifen. Darüber hinaus haben wir die Fabric Lakehouse/Warehouse-Connectors in Azure Data Factory eingeführt und ermöglichen eine nahtlose Datenintegration in die OneLake-Umgebung von Fabric für ADF-Kunden. Außerdem bieten wir einen Leitfaden für ADF-Kunden, der Ihnen hilft, Ihre vorhandenen Zuordnungsdatenflusstransformationen neuen Dataflow Gen2-Transformationen zuzuordnen. Mit Blick auf die Zukunft nehmen wir die Möglichkeit, ADF-Ressourcen in Fabric einzubinden, in unsere Roadmap auf. Damit können Kunden die Funktionalität ihrer bestehenden ADF-Pipelines auf Azure beibehalten, während sie Fabric erkunden und umfassende Upgrade-Strategien planen. Wir arbeiten eng mit Kunden und der Community zusammen, um die effektivsten Möglichkeiten zur Unterstützung der Migration von Datenpipelines von ADF zu Fabric zu ermitteln. In diesem Zusammenhang bieten wir Ihnen eine Upgradeerfahrung, mit der Sie Ihre bestehenden Datenpipelines in Fabric testen können, indem Sie die Datenpipelines einbinden und aktualisieren.