Dela via

Snabbstart: Mata in data med Hjälp av Azure Synapse Pipelines (förhandsversion)

  • Artikel

I den här snabbstarten lär du dig att läsa in data från en datakälla till Azure Synapse Data Explorer-poolen.

Förutsättningar

  • En Azure-prenumeration. Skapa ett kostnadsfritt Azure-konto.

  • Skapa en Data Explorer-pool med Synapse Studio eller Azure-portalen

  • Skapa en Data Explorer-databas.

    1. Välj Data i fönstret till vänster i Synapse Studio.

    2. Välj + (Lägg till ny resurs) >Data Explorer-pool och använd följande information:

      Inställning Föreslaget värde beskrivning
      Poolnamn contosodataexplorer Namnet på datautforskarens pool som ska användas
      Name TestDatabase Databasnamnet måste vara unikt inom klustret.
      Standardkvarhållningsperiod 365 Det tidsintervall (i dagar) då det är garanterat att data förblir tillgängliga för frågor. Tidsintervallet mäts från det att data matas in.
      Standardcacheperiod 31 Det tidsintervall (i dagar) då data som frågor körs mot ofta ska vara tillgängliga i SSD-lagring eller RAM i stället för i långsiktig lagring.

    3. Välj Skapa för att skapa databasen. Det brukar ta mindre än en minut att skapa en databas.

  • Skapa en tabell

    1. I Synapse Studio går du till fönstret till vänster och väljer Utveckla.
    2. Under KQL-skript väljer du + (Lägg till ny resurs) >KQL-skript. I den högra rutan kan du namnge skriptet.
    3. I menyn Anslut till väljer du contosodataexplorer.
    4. I menyn Använd databas väljer du TestDatabase.
    5. Klistra in följande kommando och välj Kör för att skapa tabellen.
    .create table StormEvents (StartTime: datetime, EndTime: datetime, EpisodeId: int, EventId: int, State: string, EventType: string, InjuriesDirect: int, InjuriesIndirect: int, DeathsDirect: int, DeathsIndirect: int, DamageProperty: int, DamageCrops: int, Source: string, BeginLocation: string, EndLocation: string, BeginLat: real, BeginLon: real, EndLat: real, EndLon: real, EpisodeNarrative: string, EventNarrative: string, StormSummary: dynamic)

    Dricks

    Kontrollera att tabellen har skapats. I den vänstra rutan väljer du Data, väljer menyn contosodataexplorer more och väljer sedan Uppdatera. Under contosodataexplorer expanderar du Tabeller och kontrollerar att tabellen StormEvents visas i listan.

  • Hämta slutpunkterna fråga och datainmatning. Du behöver frågeslutpunkten för att konfigurera den länkade tjänsten.

    1. I Synapse Studio går du till den vänstra rutan och väljer Hantera>datautforskarens pooler.

    2. Välj den datautforskarepool som du vill använda för att visa dess information.

      Screenshot of the Data Explorer pools screen, showing the list of existing pools.

    3. Anteckna slutpunkterna fråga och datainmatning. Använd frågeslutpunkten som kluster när du konfigurerar anslutningar till datautforskarens pool. När du konfigurerar SDK:er för datainmatning använder du slutpunkten för datainmatning.

      Screenshot of the Data Explorer pools properties pane, showing the Query and Data Ingestion URI addresses.

Skapa en länkad tjänst

I Azure Synapse Analytics är en länkad tjänst där du definierar anslutningsinformationen till andra tjänster. I det här avsnittet skapar du en länkad tjänst för Azure Data Explorer.

  1. I Synapse Studio går du till fönstret till vänster och väljer Hantera>länkade tjänster.

  2. Välj + Nytt.

    Screenshot of the Linked services screen, showing the list of existing services and highlighting the add new button.

  3. Välj Azure Data Explorer-tjänsten från galleriet och välj sedan Fortsätt.

    Screenshot of the new Linked services pane, showing the list of available services and highlighting the add new Azure Data Explorer service.

  4. På sidan Nya länkade tjänster använder du följande information:

    Inställning Föreslaget värde Description
    Name contosodataexplorerlinkedservice Namnet på den nya länkade Azure Data Explorer-tjänsten.
    Autentiseringsmetod Hanterad identitet Autentiseringsmetoden för den nya tjänsten.
    Metod för kontoval Ange manuellt Metoden för att ange frågeslutpunkten.
    Slutpunkt https://contosodataexplorer.contosoanalytics.dev.kusto.windows.net Frågeslutpunkten som du antecknade tidigare.
    Databas TestDatabase Databasen där du vill mata in data.

    Screenshot of the new Linked services details pane, showing the fields that need to be completed for the new service.

  5. Välj Testa anslutning för att verifiera inställningarna och välj sedan Skapa.

Skapa en pipeline för att mata in data

En pipeline innehåller det logiska flödet för en körning av en uppsättning aktiviteter. I det här avsnittet skapar du en pipeline som innehåller en kopieringsaktivitet som matar in data från önskad källa till en Data Explorer-pool.

  1. I Synapse Studio går du till fönstret till vänster och väljer Integrera.

  2. Välj +>Pipeline. I den högra rutan kan du namnge din pipeline.

    Screenshot showing the selection for creating a new pipeline.

  3. Under Aktiviteter>Flytta och transformera drar du Kopiera data till pipelinearbetsytan.

  4. Välj kopieringsaktiviteten och gå till fliken Källa . Välj eller skapa en ny källdatauppsättning som källa att kopiera data från.

  5. Gå till fliken Mottagare . Välj Ny om du vill skapa en ny datauppsättning för mottagare.

    Screenshot of the pipeline copy activity, showing the selection for creating a new sink.

  6. Välj Azure Data Explorer-datamängden från galleriet och välj sedan Fortsätt.

  7. I fönstret Ange egenskaper använder du följande information och väljer sedan OK.

    Inställning Föreslaget värde Description
    Name AzureDataExplorerTable Namnet på den nya pipelinen.
    Länkad tjänst contosodataexplorerlinkedservice Den länkade tjänsten som du skapade tidigare.
    Register StormEvents Tabellen som du skapade tidigare.

    Screenshot of the pipeline copy activity set properties pane, showing the fields that need to be completed for the new sink.

  8. Om du vill verifiera pipelinen väljer du Verifiera i verktygsfältet. Du ser resultatet av pipelinevalideringsutdata till höger på sidan.

Felsöka och publicera en pipeline

När du har konfigurerat pipelinen kan du köra en felsökningskörning innan du publicerar artefakterna för att kontrollera att allt är korrekt.

  1. Välj Felsök i verktygsfältet. Du ser status för pipelinekörningen på fliken Utdata längst ned i fönstret.

  2. När pipelinekörningen är klar väljer du Publicera alla i det översta verktygsfältet. Den här åtgärden publicerar entiteter (datauppsättningar och pipelines) som du har skapat till Synapse Analytics-tjänsten.

  3. Vänta tills du ser meddelandet om att entiteterna har publicerats. Om du vill se meddelanden väljer du klockknappen längst upp till höger.

Utlösa och övervaka pipelinen

I det här avsnittet utlöser du pipelinen manuellt som publicerades i föregående steg.

  1. Välj Lägg till utlösare i verktygsfältet och välj sedan Utlösa nu. På sidan PipelineKörning väljer du OK.

  2. Gå till fliken Övervaka i det vänstra sidofältet. Du ser en pipelinekörning som är utlöst av en manuell utlösare.

  3. När pipelinekörningen har slutförts väljer du länken under kolumnen Pipelinenamn för att visa aktivitetskörningsinformation eller för att köra pipelinen igen. I det här exemplet finns det bara en aktivitet, så du ser bara en post i listan.

  4. Om du vill ha mer information om kopieringsåtgärden väljer du länken Information (glasögonikonen) under kolumnen Aktivitetsnamn . Du kan övervaka information som mängden data som kopieras från källan till mottagaren, dataflödet, körningsstegen med motsvarande varaktighet och använda konfigurationer.

  5. Om du vill växla tillbaka till pipelinekörningsvyn väljer du länken Alla pipelinekörningar längst upp. Om du vill uppdatera listan väljer du Refresh (Uppdatera).

  6. Kontrollera att dina data är korrekt skrivna i datautforskarens pool.

Nästa steg