Sdílet prostřednictvím

Rychlý start: Ingestování dat pomocí kanálů Azure Synapse (Preview)

  • Článek

V tomto rychlém startu se dozvíte, jak načíst data ze zdroje dat do fondu Průzkumníka dat Azure Synapse.

Požadavky

  • Předplatné Azure. Vytvořte bezplatný účet Azure.

  • Vytvoření fondu Průzkumníka dat pomocí nástroje Synapse Studio nebo webu Azure Portal

  • Vytvořte databázi Průzkumníka dat.

    1. V nástroji Synapse Studio v levém podokně vyberte Data.

    2. Vyberte + fond Průzkumníka dat (přidat nový zdroj) >a použijte následující informace:

      Nastavení Navrhovaná hodnota Popis
      Název fondu contosodataexplorer Název fondu Průzkumníka dat, který se má použít
      Název TestDatabase Název databáze musí být v rámci clusteru jedinečný.
      Výchozí doba uchovávání 365 Časové období (ve dnech), pro které je zaručeno, že jsou data k dispozici pro dotazování. Časový rozsah se začíná měřit od okamžiku, kdy jsou data ingestována.
      Výchozí období mezipaměti 31 Časové období (ve dnech), pro které se mají uchovávat často dotazovaná data dostupná v úložišti SSD nebo paměti RAM, a ne v dlouhodobějším úložišti.

    3. Výběrem možnosti Vytvořit vytvořte databázi. Vytvoření obvykle trvá méně než minutu.

  • Vytvoření tabulky

    1. V nástroji Synapse Studio v levém podokně vyberte Vývoj.
    2. V části Skripty KQL vyberte + (přidat nový prostředek) >skript KQL. V pravém podokně můžete svůj skript pojmenovat.
    3. V nabídce Připojení vyberte contosodataexplorer.
    4. V nabídce Použít databázi vyberte TestDatabase.
    5. Vložte následující příkaz a výběrem příkazu Spustit vytvořte tabulku.
    .create table StormEvents (StartTime: datetime, EndTime: datetime, EpisodeId: int, EventId: int, State: string, EventType: string, InjuriesDirect: int, InjuriesIndirect: int, DeathsDirect: int, DeathsIndirect: int, DamageProperty: int, DamageCrops: int, Source: string, BeginLocation: string, EndLocation: string, BeginLat: real, BeginLon: real, EndLat: real, EndLon: real, EpisodeNarrative: string, EventNarrative: string, StormSummary: dynamic)

    Tip

    Ověřte, že se tabulka úspěšně vytvořila. V levém podokně vyberte Data, vyberte další nabídku contosodataexplorer a pak vyberte Aktualizovat. V části contosodataexplorer rozbalte tabulky a ujistěte se, že se v seznamu zobrazí tabulka StormEvents.

  • Získejte koncové body pro dotazy a příjem dat. Ke konfiguraci propojené služby budete potřebovat koncový bod dotazu.

    1. V nástroji Synapse Studio v levém podokně vyberte Spravovat>fondy Průzkumníka dat.

    2. Vyberte fond Průzkumníka dat, který chcete použít k zobrazení podrobností.

      Screenshot of the Data Explorer pools screen, showing the list of existing pools.

    3. Poznamenejte si koncové body dotazů a příjmu dat. Při konfiguraci připojení k fondu Průzkumníka dat použijte koncový bod dotazu jako cluster. Při konfiguraci sad SDK pro příjem dat použijte koncový bod pro příjem dat.

      Screenshot of the Data Explorer pools properties pane, showing the Query and Data Ingestion URI addresses.

Vytvoření propojené služby

V Azure Synapse Analytics se propojená služba používá k definování informací o připojení k jiným službám. V této části vytvoříte propojenou službu pro Azure Data Explorer.

  1. V nástroji Synapse Studio v levém podokně vyberte Spravovat>propojené služby.

  2. Vyberte + Nové.

    Screenshot of the Linked services screen, showing the list of existing services and highlighting the add new button.

  3. V galerii vyberte službu Azure Data Explorer a pak vyberte Pokračovat.

    Screenshot of the new Linked services pane, showing the list of available services and highlighting the add new Azure Data Explorer service.

  4. Na stránce Nové propojené služby použijte následující informace:

    Nastavení Navrhovaná hodnota Description
    Name contosodataexplorerlinkedservice Název nové propojené služby Azure Data Exploreru
    Metoda ověřování Spravovaná identita Metoda ověřování pro novou službu.
    Metoda výběru účtu Ruční zadání Metoda pro zadání koncového bodu dotazu.
    Koncový bod https://contosodataexplorer.contosoanalytics.dev.kusto.windows.net Koncový bod dotazu, který jste si poznamenali dříve.
    Databáze TestDatabase Databáze, do které chcete ingestovat data.

    Screenshot of the new Linked services details pane, showing the fields that need to be completed for the new service.

  5. Výběrem možnosti Test připojení ověřte nastavení a pak vyberte Vytvořit.

Vytvoření kanálu pro příjem dat

Kanál obsahuje logický tok pro spuštění sady aktivit. V této části vytvoříte kanál obsahující aktivitu kopírování, která ingestuje data z upřednostňovaného zdroje do fondu Průzkumníka dat.

  1. V nástroji Synapse Studio v levém podokně vyberte Integrovat.

  2. Vyberte +>Kanál. V pravém podokně můžete kanál pojmenovat.

    Screenshot showing the selection for creating a new pipeline.

  3. V části Aktivity>Přesunout a transformovat přetáhněte kopírovat data na plátno kanálu.

  4. Vyberte aktivitu kopírování a přejděte na kartu Zdroj . Vyberte nebo vytvořte novou zdrojovou datovou sadu, ze které chcete kopírovat data.

  5. Přejděte na kartu Jímka . Vyberte Nový a vytvořte novou datovou sadu jímky.

    Screenshot of the pipeline copy activity, showing the selection for creating a new sink.

  6. V galerii vyberte datovou sadu Azure Data Exploreru a pak vyberte Pokračovat.

  7. V podokně Nastavit vlastnosti použijte následující informace a pak vyberte OK.

    Nastavení Navrhovaná hodnota Description
    Name AzureDataExplorerTable Název nového kanálu.
    Propojená služba contosodataexplorerlinkedservice Propojená služba, kterou jste vytvořili dříve.
    Table StormEvents Tabulka, kterou jste vytvořili dříve.

    Screenshot of the pipeline copy activity set properties pane, showing the fields that need to be completed for the new sink.

  8. Kanál ověříte tak, že na panelu nástrojů vyberete Ověřit . Na pravé straně stránky se zobrazí výsledek výstupu ověření kanálu.

Ladění a publikování kanálu

Jakmile dokončíte konfiguraci kanálu, můžete spustit ladicí běh před publikováním artefaktů a ověřit správnost všeho.

  1. Na panelu nástrojů vyberte Ladit . Na kartě Výstup v dolní části okna se zobrazí stav spuštění kanálu.

  2. Po úspěšném spuštění kanálu vyberte na horním panelu nástrojů možnost Publikovat vše. Tato akce publikuje entity (datové sady a kanály), které jste vytvořili ve službě Synapse Analytics.

  3. Počkejte, dokud se nezobrazí zpráva Publikování proběhlo úspěšně. Pokud chcete zobrazit zprávy s oznámením, vyberte v pravém horním rohu tlačítko zvonku.

Aktivace a monitorování kanálu

V této části ručně aktivujete kanál publikovaný v předchozím kroku.

  1. Na panelu nástrojů vyberte Přidat aktivační událost a pak vyberte Aktivovat. Na stránce Spuštění kanálu vyberte OK.

  2. Přejděte na kartu Monitorování umístěnou na levém bočním panelu. Zobrazí se stav ručně aktivovaného spuštění kanálu.

  3. Po úspěšném dokončení spuštění kanálu vyberte odkaz ve sloupci Název kanálu a zobrazte podrobnosti o spuštění aktivit nebo znovu spusťte kanál. V tomto příkladu je jenom jedna aktivita, takže v seznamu uvidíte jenom jednu položku.

  4. Podrobnosti o operaci kopírování získáte tak, že ve sloupci Název aktivity vyberete odkaz Podrobnosti (ikona brýle). Můžete monitorovat podrobnosti, jako je objem dat zkopírovaný ze zdroje do jímky, propustnost dat, kroky provádění s odpovídající dobou trvání a použité konfigurace.

  5. Pokud chcete přepnout zpět do zobrazení spuštění kanálu, vyberte v horní části odkaz Všechna spuštění kanálu. Seznam můžete aktualizovat kliknutím na Aktualizovat.

  6. Ověřte, že jsou vaše data ve fondu Průzkumníka dat správně zapsaná.

Další kroky