Freigeben über

Schnellstart: Verschieben und Transformieren von Daten mit Datenflüssen und Datenpipelinen

  • Artikel

In diesem Lernprogramm erfahren Sie, wie die Datenfluss- und Datenpipelineerfahrung eine leistungsstarke und umfassende Data Factory-Lösung erstellen kann.

Voraussetzungen

Um zu beginnen, müssen Sie über die folgenden Voraussetzungen verfügen:

Datenflüsse im Vergleich zu Pipelines

Mit Dataflows Gen2 können Sie eine Low-Code-Schnittstelle und 300+ Daten- und KI-basierte Transformationen verwenden, um Daten ganz einfach zu bereinigen, zu präpieren und zu transformieren, die mehr Flexibilität haben als jedes andere Tool. Datenpipelines ermöglichen umfangreiche sofort einsatzbereite Daten-Orchestrierungsfunktionen, um flexible Datenworkflows zu erstellen, die Ihren Unternehmensanforderungen entsprechen. In einer Pipeline können Sie logische Gruppierungen von Aktivitäten erstellen, die eine Aufgabe ausführen, z. B. das Aufrufen eines Dataflows zum Bereinigen und Vorbereiten ihrer Daten. Es gibt zwar einige Funktionen, die zwischen den beiden überlappen, aber die Wahl, welche für ein bestimmtes Szenario verwendet werden soll, hängt davon ab, ob Sie die volle Fülle von Pipelines benötigen oder die einfacheren, aber eingeschränkteren Funktionen von Datenflüssen verwenden können. Weitere Informationen finden Sie im Fabric-Entscheidungsleitfaden

Transformieren von Daten mit Datenflüssen

Führen Sie die folgenden Schritte aus, um ihren Datenfluss einzurichten.

Schritt 1: Erstellen eines Datenflusses

  1. Wählen Sie Ihren Fabric-fähigen Arbeitsbereich aus, und wählen Sie dann Neu aus. Wählen Sie dann Dataflow Gen2aus.

    Screenshot, der zeigt, wo mit dem Erstellen eines Datenflusses gen2 begonnen werden soll.

  2. Das Datenfluss-Editor-Fenster wird angezeigt. Wählen Sie die Karte Aus SQL Server importieren aus.

    Screenshot mit dem Fenster des Datenfluss-Editors.

Schritt 2: Abrufen von Daten

  1. Geben Sie im nächsten Dialogfeld Mit Datenquelle verbinden die Details ein, um eine Verbindung mit Ihrer Azure SQL-Datenbank herzustellen, und wählen Sie dann Weiter aus. In diesem Beispiel verwenden Sie die Beispieldatenbank AdventureWorksLT, die beim Einrichten der Azure SQL-Datenbank in den Voraussetzungen konfiguriert wurde.

    Screenshot, der zeigt, wie eine Verbindung mit einer Azure SQL-Datenbank hergestellt wird.

  2. Wählen Sie die Daten aus, die Sie transformieren möchten, und wählen Sie dann Erstellen aus. Wählen Sie für diese Schnellstartanleitung SalesLT.Customer aus den AdventureWorksLT Beispieldaten aus, die für Azure SQL DB bereitgestellt werden, und wählen Sie dann die Schaltfläche Verknüpfte Tabellen auswählen, um automatisch zwei weitere verknüpfte Tabellen einzuschließen.

    Screenshot, der zeigt, wo aus den verfügbaren Daten ausgewählt werden soll.

Schritt 3: Transformieren Ihrer Daten

  1. Wenn sie nicht ausgewählt ist, wählen Sie die Schaltfläche Diagrammansicht auf der Statusleiste unten auf der Seite aus, oder wählen Sie Diagrammansicht unter dem Menü Ansicht oben im Power Query-Editor aus. Eine dieser Optionen kann die Diagrammansicht umschalten.

    Screenshot, der zeigt, wo die Diagrammansicht ausgewählt werden soll.

  2. Klicken Sie mit der rechten Maustaste auf Ihre SalesLT Customer-Abfrage, oder wählen Sie die vertikalen Auslassungspunkte rechts neben der Abfrage aus, und wählen Sie dann Abfragen zusammenführen aus.

    Screenshot, der zeigt, wo die Option

  3. Konfigurieren Sie die Zusammenführung, indem Sie die Tabelle SalesLTOrderHeader als rechte Tabelle für die Zusammenführung, die Spalte CustomerID aus jeder Tabelle als Joinspalte und Linker äußerer Join als Art des Joins auswählen. Wählen Sie dann OK aus, um die Zusammenführungsabfrage hinzuzufügen.

    Screenshot: Bildschirm für die Zusammenführungskonfiguration

  4. Wählen Sie in der neuen Zusammenführungsabfrage, die Sie erstellt haben, die Schaltfläche Datenziel hinzufügen aus, die wie ein Datenbanksymbol mit einem Pfeil darüber aussieht. Wählen Sie dann Azure SQL-Datenbank als Zieltyp aus.

    Screenshot mit Hervorhebung des Buttons

  5. Geben Sie die Details für Ihre Azure SQL-Datenbankverbindung an, bei der die Merge-Abfrage veröffentlicht werden soll. In diesem Beispiel können Sie auch die datenbank AdventureWorksLT verwenden, die wir als Datenquelle für das Ziel verwendet haben.

    Screenshot mit dem Dialogfeld

  6. Wählen Sie eine Datenbank aus, um die Daten zu speichern, und geben Sie einen Tabellennamen ein, und wählen Sie dann Nextaus.

    Screenshot mit dem Fenster

  7. Sie können die Standardeinstellungen im Dialogfeld Zieleinstellungen auswählen beibehalten und einfach Einstellungen speichern auswählen, ohne hier Änderungen vorzunehmen.

    Screenshot mit dem Dialogfeld

  8. Wählen Sie auf der Seite des Dataflow-Editors die Option Veröffentlichen aus, um den Dataflow zu veröffentlichen.

    Screenshot, der die Schaltfläche

Verschieben von Daten mit Datenpipelines

Nachdem Sie nun ein Dataflow Gen2 erstellt haben, können Sie es in einer Pipeline verwenden. In diesem Beispiel kopieren Sie die aus dem Datenfluss generierten Daten in ein Textformat in ein Azure Blob Storage-Konto.

Schritt 1: Erstellen einer neuen Datenpipeline

  1. Wählen Sie in Ihrem Arbeitsbereich Neu und dann Datenpipeline aus.

    Screenshot, der zeigt, wo eine neue Datenpipeline gestartet werden soll.

  2. Benennen Sie Ihre Pipeline, und wählen Sie dann Erstellen aus.

    Screenshot mit der Aufforderung zur neuen Pipelineerstellung mit einem Beispielpipelinenamen.

Schritt 2: Konfigurieren des Datenflusses

  1. Fügen Sie Ihrer Datenpipeline eine neue Datenflussaktivität hinzu, indem Sie auf der Registerkarte Aktivitäten auf Dataflow- klicken.

    Screenshot, der zeigt, wo die Option

  2. Wählen Sie den Datenfluss auf der Pipeline-Canvas aus, und klicken Sie dann auf die Registerkarte Einstellungen. Wählen Sie den zuvor erstellten Datenfluss aus der Dropdownliste aus.

    Screenshot, der zeigt, wie Sie den von Ihnen erstellten Datenfluss auswählen.

  3. Wählen Sie Speichern und dann Ausführen aus, um den Dataflow auszuführen, damit zunächst die zusammengeführte Abfragetabelle aufgefüllt wird, die Sie im vorherigen Schritt entworfen haben.

    Screenshot, der zeigt, wo

Schritt 3: Verwenden des Kopier-Assistenten zum Hinzufügen einer Kopieraktivität

  1. Wählen Sie auf der Canvas die Option Daten kopieren aus, um das Tool Kopier-Assistent für die ersten Schritte zu öffnen. Alternativ können Sie in der Dropdownliste Daten kopieren auf der Registerkarte Aktivitäten im Menüband die Option Kopier-Assistenten verwenden auswählen.

    Screenshot mit den beiden Möglichkeiten für den Zugriff auf den Kopier-Assistenten.

  2. Wählen Sie Ihre Datenquelle aus, indem Sie einen Datenquellentyp auswählen. In diesem Lernprogramm verwenden Sie die Azure SQL-Datenbank, die Sie zuvor beim Erstellen des Datenflusses genutzt haben, um eine neue Zusammenführungsabfrage zu generieren. Scrollen Sie zu den Beispieldatenangeboten nach unten und wählen Sie die Registerkarte Azure aus, dann Azure SQL-Datenbank. Wählen Sie dann Weiter aus, um fortzufahren.

    Screenshot, der zeigt, wo eine Datenquelle ausgewählt werden soll.

  3. Erstellen Sie eine Verbindung mit Ihrer Datenquelle, indem Sie Neue Verbindung erstellenauswählen. Geben Sie im Panel die erforderlichen Verbindungsinformationen ein, und geben Sie für die Datenbank AdventureWorksLT ein, in der die Zusammenführungsabfrage im Dataflow generiert wurde. Wählen Sie dann Weiteraus.

    Screenshot, der zeigt, wo eine neue Verbindung erstellt werden soll.

  4. Wählen Sie die Tabelle aus, die Sie zuvor im Datenflussschritt generiert haben, und wählen Sie dann Weiteraus.

    Screenshot, der zeigt, wie aus verfügbaren Tabellen ausgewählt wird.

  5. Wählen Sie für Ihr Ziel Azure Blob Storage und dann Nextaus.

    Screenshot: Ziel für Azure Blob Storage-Daten

  6. Erstellen Sie eine Verbindung mit Ihrem Ziel, indem Sie Neue Verbindung erstellenauswählen. Geben Sie die Details für Ihre Verbindung an, und wählen Sie dann Weiteraus.

    Screenshot, der zeigt, wie eine Verbindung erstellt wird.

  7. Wählen Sie Ihren Ordnerpfad aus, geben Sie einen Dateinamen an, und wählen Sie dann Weiter aus.

    Screenshot, der zeigt, wie Ordnerpfad und Dateiname ausgewählt werden.

  8. Wählen Sie Weiter erneut aus, um das Standarddateiformat, spaltentrennzeichen, Zeilentrennzeichen und Komprimierungstyp zu übernehmen, optional auch eine Kopfzeile.

    Screenshot mit den Konfigurationsoptionen für die Datei in Azure Blob Storage.

  9. Schließen Sie Ihre Einstellungen ab. Überprüfen Und wählen Sie dann Speichern + ausführen aus, um den Vorgang abzuschließen.

    Screenshot, der zeigt, wie Kopierdateneinstellungen überprüft werden.

Schritt 5: Entwerfen der Datenpipeline und Speichern zum Ausführen und Laden von Daten

  1. Um die Copy-Aktivität nach der Dataflow-Aktivität auszuführen, ziehen Sie von Erfolgreich über die Dataflow-Aktivität zur Copy-Aktivität. Die Copy-Aktivität wird erst ausgeführt, nachdem die Dataflow-Aktivität erfolgreich war.

    Screenshot, der zeigt, wie der Datenfluss nach der Kopieraktivität ausgeführt wird.

  2. Wählen Sie Speichern aus, um Ihre Datenpipeline zu speichern. Wählen Sie dann Ausführen aus, um Ihre Datenpipeline auszuführen und Ihre Daten zu laden.

    Screenshot, der zeigt, wo

Planen der Pipelineausführung

Nachdem Sie die Entwicklung und das Testen Der Pipeline abgeschlossen haben, können Sie die Ausführung automatisch planen.

  1. Wählen Sie im Fenster des Pipeline-Editors auf der Registerkarte Start die Option Zeitplan aus.

    Screenshot der Schaltfläche

  2. Konfigurieren Sie den Zeitplan nach Bedarf. Im folgenden Beispiel wird die tägliche Ausführung der Pipeline bis zum Ende des Jahres um 20:00 Uhr geplant.

    Screenshot: Konfiguration des Zeitplans für eine Pipeline, die bis zum Ende des Jahres täglich um 20:00 Uhr ausgeführt wird

Verwandte Inhalte

In diesem Beispiel erfahren Sie, wie Sie einen Dataflow Gen2 erstellen und konfigurieren, um eine Merge-Abfrage zu erstellen und in einer Azure SQL-Datenbank zu speichern, und wie Sie anschließend Daten aus der Datenbank in eine Textdatei in Azure Blob Storage kopieren. Sie haben gelernt, wie Sie:

  • Erstellen Sie einen Datenfluss.
  • Transformieren von Daten mit dem Datenfluss.
  • Erstellen Sie eine Datenpipeline mithilfe des Datenflusses.
  • Ordnen Sie die Ausführung der Schritte in der Pipeline an.
  • Kopieren Von Daten mit dem Kopier-Assistenten.
  • Führen Sie Ihre Datenpipeline aus, und planen Sie sie.

Erfahren Sie im nächsten Schritt mehr über die Überwachung Ihrer Pipelineausführungen.

Überwachen von Pipelineausführungen in Microsoft Fabric