Sdílet prostřednictvím


Kopírování dat z databáze SQL Serveru do služby Azure Blob Storage

PLATÍ PRO: Azure Data Factory Azure Synapse Analytics

Tip

Vyzkoušejte si službu Data Factory v Microsoft Fabric, řešení pro analýzy typu all-in-one pro podniky. Microsoft Fabric zahrnuje všechno od přesunu dat až po datové vědy, analýzy v reálném čase, business intelligence a vytváření sestav. Přečtěte si, jak začít používat novou zkušební verzi zdarma.

V tomto kurzu použijete uživatelské rozhraní služby Azure Data Factory k vytvoření kanálu datové továrny, který kopíruje data z databáze SQL Serveru do úložiště objektů blob v Azure. Vytvoříte a použijete místní prostředí Integration Runtime, které přesouvá data mezi místním a cloudovým úložištěm dat.

Poznámka:

Tento článek neposkytuje podrobný úvod do služby Data Factory. Další informace najdete v tématu Seznámení se službou Data Factory.

V tomto kurzu budete provádět následující kroky:

  • Vytvoření datové továrny
  • Vytvořte místní prostředí Integration Runtime.
  • Vytvoření propojených služeb SQL Server a Azure Storage
  • Vytvoření datových sad SQL Serveru a Azure Blob
  • Vytvoření kanálu s aktivitou kopírování pro přesun dat
  • Zahajte spuštění kanálu.
  • Monitorování spuštění kanálu

Požadavky

Předplatné Azure

Pokud ještě nemáte předplatné Azure, vytvořte si bezplatný účet před tím, než začnete.

Role Azure

Abyste mohli vytvořit instance datové továrny, musí mít uživatelský účet, který použijete pro přihlášení k Azure, přiřazenou roli Přispěvatel nebo Vlastník předplatného Azure nebo musí být jeho správcem.

Pokud chcete zobrazit oprávnění, která v předplatném máte, přejděte na web Azure Portal. V pravém horním rohu vyberte své uživatelské jméno a pak vyberte Oprávnění. Pokud máte přístup k několika předplatným, vyberte odpovídající předplatné. Ukázkové pokyny k přidání uživatele do role najdete v tématu Přiřazení rolí Azure pomocí webu Azure Portal.

SQL Server 2014, 2016 a 2017

V tomto kurzu použijete databázi SQL Serveru jako zdrojové úložiště dat. Kanál v datové továrně, který vytvoříte v tomto kurzu, kopíruje data z této databáze SQL Serveru (zdroj) do úložiště objektů blob (jímka). Ve své databázi SQL Serveru pak vytvoříte tabulku emp a vložíte do ní několik ukázkových záznamů.

  1. Spusťte aplikaci SQL Server Management Studio. Pokud na vašem počítači ještě není nainstalovaná, přejděte na stránku pro stažení aplikace SQL Server Management Studio.

  2. Pomocí svých přihlašovacích údajů se přihlaste ke své instanci SQL Serveru.

  3. Vytvořte ukázkovou databázi. Ve stromovém zobrazení klikněte pravým tlačítkem na Databáze a pak vyberte Nová databáze.

  4. V okně Nová databáze zadejte název databáze a pak vyberte OK.

  5. Vytvořte tabulku emp a vložte do ní nějaká ukázková data spuštěním následujícího skriptu dotazu proti databázi. Ve stromovém zobrazení klikněte pravým tlačítkem na databázi, kterou jste vytvořili, a pak vyberte Nový dotaz.

     CREATE TABLE dbo.emp
     (
         ID int IDENTITY(1,1) NOT NULL,
         FirstName varchar(50),
         LastName varchar(50)
     )
     GO
    
     INSERT INTO emp (FirstName, LastName) VALUES ('John', 'Doe')
     INSERT INTO emp (FirstName, LastName) VALUES ('Jane', 'Doe')
     GO
    

Účet služby Azure Storage

V tomto kurzu použijete účet úložiště Azure (konkrétně úložiště objektů blob) pro obecné účely jako cílové úložiště dat nebo úložiště dat jímky. Pokud nemáte účet úložiště Azure pro obecné účely, přečtěte si téma Vytvoření účtu úložiště. Kanál v datové továrně, který vytvoříte v tomto kurzu, kopíruje data z databáze SQL Serveru (zdroj) do úložiště objektů blob (jímka).

Získání názvu a klíče účtu úložiště

V tomto kurzu použijete název a klíč svého účtu úložiště. Název a klíč svého účtu úložiště získáte pomocí následujícího postupu:

  1. Přihlaste se k webu Azure Portal pomocí svého uživatelského jména a hesla Azure.

  2. V levém podokně vyberte Všechny služby. Proveďte filtrování pomocí klíčového slova úložiště a pak vyberte Účty úložiště.

    Vyhledávání účtu úložiště

  3. V seznamu účtů úložiště v případě potřeby vyfiltrujte svůj účet úložiště. Pak vyberte svůj účet úložiště.

  4. V okně Účet úložiště vyberte Přístupové klíče.

  5. Zkopírujte hodnoty polí Název účtu úložiště a klíč1 a vložte je do Poznámkového bloku nebo jiného editoru pro pozdější použití v rámci kurzu.

Vytvoření kontejneru adftutorial

V této části vytvoříte ve svém úložišti objektů blob kontejner objektů blob adftutorial.

  1. V okně účtu úložiště přejděte na Přehled a pak vyberte Kontejnery.

    Výběr možnosti Objekty blob

  2. V okně Kontejnery vyberte + Kontejner a vytvořte nový.

  3. V okně Nový kontejner v části Název zadejte adftutorial. Pak vyberte Vytvořit.

  4. V seznamu kontejnerů vyberte adftutorial , který jste právě vytvořili.

  5. Okno Kontejner pro adftutorial nechte otevřené. Použijete ho k ověření výstupu na konci kurzu. Data Factory v tomto kontejneru vytvoří výstupní složku automaticky, takže ji nemusíte vytvářet.

Vytvoření datové továrny

V tomto kroku vytvoříte datovou továrnu a spustíte uživatelské rozhraní služby Data Factory, ve kterém v této datové továrně vytvoříte kanál.

  1. Otevřete webový prohlížeč Microsoft Edge nebo Google Chrome. Uživatelské rozhraní služby Data Factory podporují v současnosti jenom webové prohlížeče Microsoft Edge a Google Chrome.

  2. V nabídce vlevo vyberte Vytvořit službu Data Factory pro integraci>prostředků>:

    Výběr služby Data Factory v části

  3. Na stránce Nová datová továrna v části Název zadejte ADFTutorialDataFactory.

    Název datové továrny musí být globálně jedinečný. Pokud se u pole s názvem zobrazí následující chybová zpráva, tak název datové továrny změňte (třeba na vaše_jméno_ADFTutorialDataFactory). Pravidla pro pojmenovávání artefaktů služby Data Factory najdete v tématu Data Factory – pravidla pojmenování.

    Nová chybová zpráva datové továrny pro duplicitní název

  4. Vyberte předplatné Azure, v rámci kterého chcete datovou továrnu vytvořit.

  5. U položky Skupina prostředků proveďte jeden z následujících kroků:

  6. Jako Verzi vyberte V2.

  7. V části Umístění vyberte umístění datové továrny. V rozevíracím seznamu se zobrazí pouze podporovaná umístění. Úložiště dat (například služby Storage a SQL Database) a výpočetní prostředí (například Azure HDInsight) používané datovou továrnou můžou být v jiných oblastech.

  8. Vyberte Vytvořit.

  9. Po vytvoření se zobrazí stránka Datová továrna, jak je znázorněno na obrázku:

    Domovská stránka služby Azure Data Factory s dlaždicí Open Azure Data Factory Studio

  10. Na dlaždici Otevřít Azure Data Factory Studio vyberte Otevřít, aby se uživatelské rozhraní služby Data Factory spustilo na samostatné kartě.

Vytvořit kanál

  1. Na domovské stránce služby Azure Data Factory vyberte Orchestrate (Orchestrate). Automaticky se pro vás vytvoří kanál. Kanál se zobrazí ve stromovém zobrazení a otevře se jeho editor.

    Snímek obrazovky znázorňující domovskou stránku datové továrny se zvýrazněným tlačítkem Orchestrate

  2. Na panelu Obecné v části Vlastnosti zadejte sqlServerToBlobPipeline pro Název. Potom panel sbalte kliknutím na ikonu Vlastnosti v pravém horním rohu.

  3. V okně Nástroje Aktivity rozbalte položku Přesunout a transformovat. Přetáhněte aktivitu Kopírování na plochu návrháře kanálu. Nastavte název aktivity na CopySqlServerToAzureBlobActivity.

  4. V okně Vlastnosti přejděte na kartu Zdroj a vyberte + Nový.

  5. V dialogovém okně Nová datová sada vyhledejte SQL Server. Vyberte SQL Server a pak vyberte Pokračovat. Nová datová sada SqlServeru

  6. V dialogovém okně Nastavit vlastnosti v části Název zadejte SqlServerDataset. V části Propojená služba vyberte + Nový. V tomto kroku vytvoříte připojení ke zdrojovému úložišti dat (databáze SQL Serveru).

  7. V dialogovém okně Nová propojená služba přidejte název jako SqlServerLinkedService. V části Připojit přes prostředí Integration Runtime vyberte +Nový. V této části vytvoříte místní prostředí Integration Runtime a přidružíte ho k místnímu počítači s databází SQL Serveru. Místní prostředí Integration Runtime je komponenta, která kopíruje data z databáze SQL Serveru na vašem počítači do úložiště objektů blob.

  8. V dialogovém okně Instalace prostředí Integration Runtime vyberte Místní prostředí a pak vyberte Pokračovat.

  9. Pod názvem zadejte TutorialIntegrationRuntime. Pak vyberte Vytvořit.

  10. V části Nastavení vyberte Kliknutím sem spusťte expresní instalaci pro tento počítač. Tato akce nainstaluje prostředí Integration Runtime na vašem počítači a zaregistruje ho ve službě Data Factory. Případně můžete využít možnost ruční instalace a stáhnout instalační soubor, spustit ho a použít klíč k registraci prostředí Integration Runtime. Instalace prostředí Integration Runtime

  11. V okně Integration Runtime (v místním prostředí) Expresní instalace vyberte Po dokončení procesu zavřít.

    Expresní instalace prostředí Integration Runtime (v místním prostředí)

  12. V dialogovém okně Nová propojená služba (SQL Server) ověřte, že je v části Connect via Integration Runtime vybraná možnost TutorialIntegrationRuntime. Pak proveďte následující kroky:

    a. V části Název zadejte SqlServerLinkedService.

    b. V části Název serveru zadejte název vaší instance SQL Serveru.

    c. V části Název databáze zadejte název databáze s tabulkou emp.

    d. V části Typ ověřování vyberte odpovídající typ ověřování, který má služba Data Factory používat pro připojení k vaší databázi SQL Serveru.

    e. V částech Uživatelské jméno a Heslo zadejte uživatelské jméno a heslo. V případě potřeby použijte mydomain\myuser jako uživatelské jméno.

    f. Vyberte Test připojení. Tento krok spočívá v potvrzení, že se služba Data Factory může připojit k vaší databázi SQL Serveru pomocí místního prostředí Integration Runtime, který jste vytvořili.

    g. Pokud chcete propojenou službu uložit, vyberte Vytvořit.

    Nová propojená služba (SQL Server)

  13. Po vytvoření propojené služby se vrátíte na stránku Nastavit vlastnosti pro sqlServerDataset. Postupujte následovně:

    a. Ověřte, že se v části Propojená služba zobrazí SqlServerLinkedService.

    b. V části Název tabulky vyberte [dbo].[ emp].

    c. Vyberte OK.

  14. Přejděte na kartu s kanálem SQLServerToBlobPipeline nebo vyberte kanál SQLServerToBlobPipeline ve stromovém zobrazení.

  15. Přejděte na kartu Jímka v dolní části okna Vlastnosti a vyberte + Nová.

  16. V dialogovém okně Nová datová sada vyberte Azure Blob Storage. Potom vyberte Pokračovat.

  17. V dialogovém okně Vybrat formát zvolte typ formátu dat. Potom vyberte Pokračovat.

    Výběr formátu dat

  18. V dialogovém okně Nastavit vlastnosti zadejte název AzureBlobDataset . Vyberte + Nová vedle textového pole Propojená služba.

  19. V dialogovém okně Nová propojená služba (Azure Blob Storage) zadejte jako název službu AzureStorageLinkedService a v seznamu názvů účtů úložiště vyberte svůj účet úložiště. Otestujte připojení a pak výběrem možnosti Vytvořit nasaďte propojenou službu.

  20. Po vytvoření propojené služby se vrátíte na stránku Nastavit vlastnosti . Vyberte OK.

  21. Otevřete datovou sadu jímky. Na kartě Připojení proveďte následující kroky:

    a. Ověřte, že je v části Propojená služba vybraná služba AzureStorageLinkedService.

    b. V cestě k souboru zadejte adftutorial/fromonprem pro část Container/Directory . Pokud výstupní složka v kontejneru adftutorial neexistuje, služba Data Factory ji automaticky vytvoří.

    c. V části Soubor vyberte Přidat dynamický obsah. dynamické výraz pro překlad názvu souboru

    d. Přidejte @CONCAT(pipeline().RunId, '.txt')a pak vyberte Dokončit. Tato akce přejmenuje soubor PipelineRunID.txt.

  22. Přejděte na kartu s otevřeným kanálem nebo vyberte kanál ve stromovém zobrazení. Ověřte, že je v části Datová sada jímky vybraná datová sada AzureBlobDataset.

  23. Pokud chcete ověřit nastavení kanálu, vyberte Ověřit na panelu nástrojů pro kanál. Pokud chcete výstup ověření kanálu zavřít, vyberte >> ikonu. ověření kanálu

  24. Pokud chcete publikovat entity, které jste vytvořili ve službě Data Factory, vyberte Publikovat vše.

  25. Počkejte, až se zobrazí automaticky otevírané okno Publikování dokončeno . Pokud chcete zkontrolovat stav publikování, vyberte odkaz Zobrazit oznámení v horní části okna. Pokud chcete okno oznámení zavřít, vyberte Zavřít.

Aktivace spuštění kanálu

Vyberte Přidat aktivační událost na panelu nástrojů kanálu a pak vyberte Aktivovat.

Monitorování spuštění kanálu

  1. Přejděte na kartu Monitorování . Zobrazí se kanál, který jste ručně aktivovali v předchozím kroku.

  2. Pokud chcete zobrazit spuštění aktivit související se spuštěním kanálu, vyberte odkaz SQLServerToBlobPipeline v části NÁZEV KANÁLU. Monitorování spuštění kanálu

  3. Na stránce Spuštění aktivity vyberte odkaz Podrobnosti (obrázek brýle) a zobrazte podrobnosti o operaci kopírování. Pokud se chcete vrátit do zobrazení Spuštění kanálu, vyberte v horní části Všechna spuštění kanálu.

Ověření výstupu

Kanál v kontejneru objektů blob adftutorial automaticky vytvoří výstupní složku fromonprem. Zkontrolujte, že výstupní složka obsahuje soubor [pipeline().RunId].txt.

Kanál v této ukázce kopíruje data z jednoho umístění do jiného v úložišti objektů blob. Naučili jste se:

  • Vytvoření datové továrny
  • Vytvořte místní prostředí Integration Runtime.
  • Vytvoření propojených služeb SQL Server a Storage
  • Vytvoření datových sad SQL Serveru a úložiště objektů blob
  • Vytvoření kanálu s aktivitou kopírování pro přesun dat
  • Zahajte spuštění kanálu.
  • Monitorování spuštění kanálu

Seznam úložišť dat podporovaných službou Data Factory najdete v tématu popisujícím podporovaná úložiště dat.

Pokud se chcete dozvědět, jak hromadně kopírovat data ze zdroje do cíle, přejděte k následujícímu kurzu: