Dela via

Snabbstart: Flytta och transformera data med dataflöden och datapipelines

  • Artikel

I den här guiden lär du dig hur upplevelsen av dataflöden och datapipelines kan skapa en kraftfull och omfattande Data Factory-lösning.

Förutsättningar

För att komma igång måste du ha följande förutsättningar:

Dataflöden jämfört med pipelines

Med Dataflows Gen2 kan du använda ett gränssnitt med låg kod och över 300 data och AI-baserade transformeringar för att enkelt rensa, förbereda och transformera data med större flexibilitet än något annat verktyg. Med datapipelines kan du använda avancerade funktioner för dataorkestrering för att skapa flexibla dataarbetsflöden som uppfyller företagets behov. I en pipeline kan du skapa logiska grupper av aktiviteter som utför en uppgift, vilket kan vara att anropa ett dataflöde för att rensa och förbereda dina data. Även om det finns en viss överlappning mellan de två, beror valet av vilken som ska användas för ett specifikt scenario på om du behöver alla fördelar med pipelines eller kan använda de enklare men mer begränsade funktionerna i dataflöden. Mer information finns i Fabric-beslutsguiden

Transformera data med dataflöden

Följ de här stegen för att konfigurera ditt dataflöde.

Steg 1: Skapa ett dataflöde

  1. Välj din Fabric-aktiverade arbetsyta och välj sedan Ny. Välj sedan Dataflöde Gen2.

    Skärmbild som visar var du börjar skapa ett dataflöde gen2.

  2. Fönstret dataflödesredigerare visas. Välj kortet Importera från SQL Server.

    Skärmbild som visar dataflödesredigerarens fönster.

Steg 2: Hämta data

  1. I dialogrutan Anslut till datakälla som visas härnäst anger du informationen för att ansluta till din Azure SQL-databas och väljer sedan Nästa. I det här exemplet använder du AdventureWorksLT exempeldatabas som konfigurerades när du konfigurerade Azure SQL-databasen i förhandskraven.

    Skärmbild som visar hur du ansluter till en Azure SQL-databas.

  2. Välj de data som du vill transformera och välj sedan Skapa. För den här snabbstarten väljer du SalesLT.Customer från AdventureWorksLT exempeldata som tillhandahålls för Azure SQL DB och sedan knappen Välj relaterade tabeller för att automatiskt inkludera två andra relaterade tabeller.

    Skärmbild som visar var du kan välja mellan tillgängliga data.

Steg 3: Transformera dina data

  1. Om den inte är markerad väljer du knappen diagramvy längs statusfältet längst ned på sidan eller väljer diagramvy under menyn Visa längst upp i Power Query-redigeraren. Något av dessa alternativ kan växla diagramvyn.

    Skärmbild som visar var du väljer diagramvy.

  2. Högerklicka på frågan SalesLT Customer eller välj den lodräta ellipsen till höger om frågan och välj sedan Slå samman frågor.

    Skärmbild som visar var du hittar alternativet Slå samman frågor.

  3. Konfigurera sammanfogningen genom att välja SalesLTOrderHeader tabell som höger tabell för kopplingen, kolumnen CustomerID från varje tabell som kopplingskolumn och vänster yttre som kopplingstyp. Välj sedan OK för att lägga till kopplingsfrågan.

    Skärmbild av konfigurationsskärm för sammanslagning.

  4. Välj knappen Lägg till datamål, som ser ut som en databassymbol med en pil ovanför, från den nya kopplingsfrågan som du skapade. Välj sedan Azure SQL-databas som måltyp.

    Skärmbild som markerar knappen Lägg till datamål i den nyligen skapade sammanslagningsfrågan.

  5. Ange information för din Azure SQL-databasanslutning där sammanslagningsfrågan ska publiceras. I det här exemplet kan du använda databasen AdventureWorksLT som vi också använde som datakälla för målet.

    Skärmbild som visar dialogrutan Anslut till datamål med exempelvärden ifyllda.

  6. Välj en databas för att lagra data och ange ett tabellnamn och välj sedan Nästa.

    Skärmbild som visar fönstret Välj destinationsmål.

  7. Du kan lämna standardinställningarna i dialogrutan Välj målinställningar och bara välja Spara inställningar utan att göra några ändringar här.

    Skärmbild som visar dialogrutan Välj målinställningar.

  8. Välj Publicera tillbaka på dataflödesredigerarens sida för att publicera dataflödet.

    Skärmbild som markerar knappen Publicera i dataflödesredigeraren gen2.

Flytta data med datapipelines

Nu när du har skapat ett Dataflöde Gen2 kan du använda det i en pipeline. I det här exemplet kopierar du data som genererats från dataflödet till textformat i ett Azure Blob Storage-konto.

Steg 1: Skapa en ny datapipeline

  1. Välj Nyfrån din arbetsyta och välj sedan Datapipeline.

    Skärmbild som visar var du kan starta en ny datapipeline.

  2. Namnge pipelinen och välj sedan Skapa.

    Skärmbild som visar frågan om att skapa den nya pipelinen med ett exempel på pipelinenamn.

Steg 2: Konfigurera ditt dataflöde

  1. Lägg till en ny dataflödesaktivitet i datapipelinen genom att välja Dataflöde på fliken Aktiviteter.

    Skärmbild som visar var du väljer alternativet Dataflöde.

  2. Välj dataflödet på pipelinearbetsytan, och sedan fliken Inställningar. Välj det dataflöde du skapade tidigare från listrutan.

    Skärmbild som visar hur du väljer det dataflöde som du skapade.

  3. Välj Sparaoch sedan Kör för att köra dataflödet för att först fylla i den sammanfogade frågetabell som du skapade i föregående steg.

    Skärmbild som visar var du ska välja Kör.

Steg 3: Använd kopieringsassistenten för att lägga till en kopieringsaktivitet

  1. Välj Kopiera data på arbetsytan för att öppna verktyget Copy Assistant för att komma igång. Eller välj Använd kopieringsassistenten från listrutan Kopiera data under fliken Aktiviteter i menyfliksområdet.

    Skärmbild som visar de två sätten att komma åt kopieringsassistenten.

  2. Välj din datakälla genom att välja en typ av datakälla. I den här självstudien använder du den Azure SQL Database som du tidigare använde när du skapade dataflödet, för att generera en ny sammanslagningsfråga. Rulla nedåt under exempeldataerbjudandena och välj fliken Azure och sedan Azure SQL Database-. Välj sedan Nästa för att fortsätta.

    Skärmbild som visar var du väljer en datakälla.

  3. Skapa en anslutning till datakällan genom att välja Skapa ny anslutning. Fyll i nödvändig anslutningsinformation på panelen och ange AdventureWorksLT för databasen, där vi genererade sammanslagningsfrågan i dataflödet. Välj sedan Nästa.

    Skärmbild som visar var du skapar en ny anslutning.

  4. Välj den tabell som du genererade i dataflödessteget tidigare och välj sedan Nästa.

    Skärmbild som visar hur du väljer från tillgängliga tabeller.

  5. Som mål väljer du Azure Blob Storage- och väljer sedan Nästa.

    Skärmbild som visar Azure Blob Storage-datamålet.

  6. Skapa en anslutning till målet genom att välja Skapa ny anslutning. Ange information för anslutningen och välj sedan Nästa.

    Skärmbild som visar hur du skapar en anslutning.

  7. Välj sökvägen mapp och ange ett Filnamnoch välj sedan Nästa.

    Skärmbild som visar hur du väljer mappsökväg och filnamn.

  8. Välj Nästa igen för att acceptera standardfilformatet, kolumn avgränsare, rad avgränsare och komprimeringstyp, om du vill inkludera en rubrik.

    Skärmbild som visar konfigurationsalternativen för filen i Azure Blob Storage.

  9. Slutför inställningarna. Granska och välj sedan Spara + Kör för att slutföra processen.

    Skärmbild som visar hur du granskar inställningarna för kopieringsdata.

Steg 5: Utforma din datapipeline och spara för att köra och läsa in data

  1. Om du vill köra aktiviteten Kopiera efter aktiviteten Dataflöde, drar du från Framgångsrik på aktiviteten Dataflöde till aktiviteten Kopiera. Aktiviteten Kopiera körs bara efter att aktiviteten Dataflöde har slutförts.

    Skärmbild som visar hur dataflödet körs efter kopieringsaktiviteten.

  2. Välj Spara för att spara din datapipeline. Välj sedan Kör för att köra din datapipeline och importera din data.

    Skärmbild som visar var du väljer Spara och kör.

Schemalägg körning av pipeline

När du har utvecklat och testat din pipeline kan du schemalägga den så att den körs automatiskt.

  1. På fliken Start i pipeline-redigeringsfönstret väljer du Schemalägg.

    En skärmbild av knappen Schema på menyn på fliken Start i pipelineredigeraren.

  2. Konfigurera schemat efter behov. Exemplet här schemalägger pipelinen så att den körs dagligen kl. 20:00 till slutet av året.

    Skärmbild som visar schemakonfigurationen för en pipeline som ska köras dagligen kl. 20:00 till slutet av året.

Relaterat innehåll

Det här exemplet visar hur du skapar och konfigurerar ett Dataflöde Gen2 för att skapa en sammanslagningsfråga och lagra den i en Azure SQL-databas och sedan kopierar data från databasen till en textfil i Azure Blob Storage. Du har lärt dig att:

  • Skapa ett dataflöde.
  • Transformera data med dataflödet.
  • Skapa en datapipeline med hjälp av dataflödet.
  • Beställ körningen av stegen i pipelinen.
  • Kopiera data med kopieringsassistenten.
  • Kör och schemalägg din datapipeline.

Gå vidare för att lära dig mer om hur du övervakar pipelinekörningarna.

Så här övervakar du pipelinekörningar i Microsoft Fabric