Bezpečné kopírování dat ze služby Azure Blob Storage do databáze SQL pomocí privátních koncových bodů

PLATÍ PRO: Azure Data Factory Azure Synapse Analytics

Tip

Vyzkoušejte si službu Data Factory v Microsoft Fabric, řešení pro analýzy typu all-in-one pro podniky. Microsoft Fabric zahrnuje všechno od přesunu dat až po datové vědy, analýzy v reálném čase, business intelligence a vytváření sestav. Přečtěte si, jak začít používat novou zkušební verzi zdarma.

V tomto kurzu vytvoříte datovou továrnu pomocí uživatelského rozhraní služby Azure Data Factory. Kanál v této datové továrně bezpečně kopíruje data ze služby Azure Blob Storage do databáze Azure SQL (obě umožňují přístup pouze k vybraným sítím) pomocí privátních koncových bodů ve spravované virtuální síti Azure Data Factory. Schéma konfigurace v tomto kurzu se vztahuje na kopírování z úložiště dat založeného na souborech do relačního úložiště dat. Seznam úložišť dat podporovaných jako zdroje a jímky najdete v tabulce Podporované úložiště a formáty dat. Funkce privátních koncových bodů je k dispozici ve všech úrovních služby Azure Data Factory, takže k jejich využití není potřeba žádná konkrétní úroveň. Další podrobnosti o cenách a úrovních najdete na stránce s cenami služby Azure Data Factory.

Poznámka:

Pokud se službou Data Factory teprve začínáte, přečtěte si téma Úvod do Azure Data Factory.

V tomto kurzu provedete následující kroky:

• Vytvoření datové továrny
• Vytvoření kanálu s aktivitou kopírování

Požadavky

• Předplatné Azure. Pokud ještě nemáte předplatné Azure, vytvořte si bezplatný účet Azure před tím, než začnete.
• Účet služby Azure Storage. Blob Storage použijete jako zdrojové úložiště dat. Pokud účet úložiště nemáte, přečtěte si téma Vytvoření účtu služby Azure Storage, kde najdete postup jeho vytvoření. Ujistěte se, že účet úložiště umožňuje přístup jenom z vybraných sítí.
• Azure SQL Database Tuto databázi použijete jako úložiště dat jímky. Pokud databázi Azure SQL nemáte, přečtěte si téma Vytvoření databáze SQL, kde najdete postup jeho vytvoření. Ujistěte se, že účet služby SQL Database umožňuje přístup pouze z vybraných sítí.

Vytvoření objektu blob a tabulky SQL

Teď připravte úložiště objektů blob a databázi SQL pro kurz provedením následujících kroků.

Vytvoření zdrojového objektu blob

1. Otevřete Poznámkový blok. Zkopírujte následující text a uložte si ho na disk jako soubor emp.txt:

   FirstName,LastName
   John,Doe
   Jane,Doe
   

2. V úložišti objektů blob vytvořte kontejner s názvem adftutorial . V tomto kontejneru vytvořte složku input. Pak do složky input nahrajte soubor emp.txt. K provedení těchto úloh použijte Azure Portal nebo nástroj, jako je například Průzkumník služby Azure Storage.

Vytvoření tabulky SQL jímky

Použitím následujícího skriptu SQL si v databázi SQL Database vytvořte tabulku emp:

CREATE TABLE dbo.emp
(
    ID int IDENTITY(1,1) NOT NULL,
    FirstName varchar(50),
    LastName varchar(50)
)
GO

CREATE CLUSTERED INDEX IX_emp_ID ON dbo.emp (ID);

Vytvoření datové továrny

V tomto kroku vytvoříte datovou továrnu a spustíte uživatelské rozhraní služby Data Factory, ve kterém v této datové továrně vytvoříte kanál.

1. Otevřete Microsoft Edge nebo Google Chrome. V současné době uživatelské rozhraní služby Data Factory podporují pouze webové prohlížeče Microsoft Edge a Google Chrome.

2. V nabídce vlevo vyberte Vytvořit datovou továrnu pro analýzu>prostředků.>

3. Na stránce Nová datová továrna v části Název zadejte ADFTutorialDataFactory.

   Název objektu pro vytváření dat Azure musí být globálně jedinečný. Pokud se zobrazí chybová zpráva o hodnotě názvu, zadejte jiný název datové továrny (například názevADFTutorialDataFactory). Pravidla pro pojmenovávání artefaktů služby Data Factory najdete v tématu Data Factory – pravidla pojmenování.

4. Vyberte předplatné Azure, v rámci kterého chcete datovou továrnu vytvořit.

5. U položky Skupina prostředků proveďte jeden z následujících kroků:

   • Vyberte Použít existující a z rozevíracího seznamu vyberte existující skupinu prostředků.
   • Vyberte Vytvořit novou a zadejte název skupiny prostředků.

   Informace o skupinách prostředků najdete v tématu Použití skupin prostředků ke správě prostředků Azure.

6. Jako Verzi vyberte V2.

7. V části Umístění vyberte umístění datové továrny. V rozevíracím seznamu se zobrazí pouze podporovaná umístění. Úložiště dat (například Azure Storage a SQL Database) a výpočetní prostředí (například Azure HDInsight) používaná datovou továrnou můžou být v jiných oblastech.

8. Vyberte Vytvořit.

9. Po vytvoření se v Centru oznámení zobrazí oznámení. Výběrem možnosti Přejít k prostředku přejděte na stránku Data Factory .

10. Na dlaždici Otevřít Azure Data Factory Studio vyberte Otevřít, aby se uživatelské rozhraní služby Data Factory spustilo na samostatné kartě.

Vytvoření prostředí Azure Integration Runtime ve spravované virtuální síti Data Factory

V tomto kroku vytvoříte prostředí Azure Integration Runtime a povolíte službu Data Factory Managed Virtual Network.

1. Na portálu Data Factory přejděte na Spravovat a vyberte Nový a vytvořte nový prostředí Azure Integration Runtime.

   

2. Na stránce nastavení prostředí Integration Runtime zvolte, jaké prostředí Integration Runtime se má vytvořit na základě požadovaných možností. V tomto kurzu vyberte Azure, v místním prostředí a potom klikněte na Pokračovat.

3. Vyberte Azure a potom kliknutím na Pokračovat vytvořte prostředí Azure Integration Runtime.

   

4. V části Konfigurace virtuální sítě (Preview) vyberte Povolit.

   

5. Vyberte Vytvořit.

Vytvořit kanál

V tomto kroku vytvoříte v datové továrně kanál s aktivitou kopírování. Aktivita kopírování kopíruje data z úložiště Blob Storage do databáze SQL Database. V kurzu Rychlý start jste vytvořili kanál pomocí tohoto postupu:

1. Vytvoření propojené služby
2. Vytvoření vstupní a výstupní datové sady
3. Vytvořit kanál.

V tomto kurzu začnete vytvořením kanálu. Potom vytvoříte propojené služby a datové sady, které budete potřebovat ke konfiguraci kanálu.

1. Na domovské stránce vyberte Orchestrate (Orchestrate).

   

2. V podokně vlastností kanálu jako název kanálu zadejte CopyPipeline .

3. V okně Nástroje Aktivity rozbalte kategorii Přesunout a transformovat a přetáhněte aktivitu kopírování dat z pole nástroje na plochu návrháře kanálu. Jako název zadejte CopyFromBlobToSql .

   

Konfigurace zdroje

Tip

V tomto kurzu použijete klíč účtu jako typ ověřování pro zdrojové úložiště dat. V případě potřeby můžete také zvolit jiné podporované metody ověřování, jako je identifikátor URI SAS, instanční objekt a spravovaná identita. Další informace najdete v odpovídajících částech v tématu Kopírování a transformace dat ve službě Azure Blob Storage pomocí služby Azure Data Factory.

Pokud chcete bezpečně ukládat tajné kódy pro úložiště dat, doporučujeme také použít Azure Key Vault. Další informace a ilustrace najdete v tématu Ukládání přihlašovacích údajů ve službě Azure Key Vault.

Vytvoření zdrojové datové sady a propojené služby

1. Přejděte na kartu Zdroj . Vyberte + Nový a vytvořte zdrojovou datovou sadu.

2. V dialogovém okně Nová datová sada vyberte Azure Blob Storage a pak vyberte Pokračovat. Zdrojová data jsou v úložišti Blob Storage, takže jako zdrojovou datovou sadu vyberete Azure Blob Storage.

3. V dialogovém okně Vybrat formát vyberte typ formátu dat a pak vyberte Pokračovat.

4. V dialogovém okně Nastavit vlastnosti zadejte SourceBlobDataset pro název. Zaškrtněte políčko pro první řádek jako záhlaví. V textovém poli Propojená služba vyberte + Nový.

5. V dialogovém okně Nová propojená služba (Azure Blob Storage) zadejte jako název službu AzureStorageLinkedService a v seznamu názvů účtů úložiště vyberte svůj účet úložiště.

6. Ujistěte se, že jste povolili interaktivní vytváření. Povolení může trvat přibližně jednu minutu.

   

7. Vyberte Test připojení. Pokud účet úložiště povolí přístup jenom z vybraných sítí , a vyžaduje, aby služba Data Factory vytvořila privátní koncový bod, který by se měl před použitím schválit. V chybové zprávě by se měl zobrazit odkaz na vytvoření privátního koncového bodu, podle kterého můžete vytvořit spravovaný privátní koncový bod. Alternativou je přejít přímo na kartu Správa a podle pokynů v další části vytvořit spravovaný privátní koncový bod.

   Poznámka:

   Karta Spravovat nemusí být k dispozici pro všechny instance datové továrny. Pokud ho nevidíte, můžete získat přístup k privátním koncovým bodům výběrem možnosti Vytvořit>privátní koncový bod připojení.>

8. Nechte dialogové okno otevřené a přejděte do svého účtu úložiště.

9. Podle pokynů v této části schvalte privátní propojení.

10. Vraťte se do dialogového okna. Znovu vyberte Test připojení a výběrem možnosti Vytvořit nasaďte propojenou službu.

11. Po vytvoření propojené služby se vrátí na stránku Nastavit vlastnosti . Vedle pole Cesta k souboru vyberte Procházet.

12. Přejděte do složky adftutorial/input , vyberte emp.txt soubor a pak vyberte OK.

13. Vyberte OK. Automaticky přejde na stránku kanálu. Na kartě Zdroj potvrďte, že je vybraná sada SourceBlobDataset. Pokud se na této stránce chcete podívat na náhled dat, vyberte Náhled dat.

    

Vytvoření spravovaného privátního koncového bodu

Pokud jste při testování připojení nevybrali hypertextový odkaz, postupujte podle cesty. Teď potřebujete vytvořit spravovaný privátní koncový bod, který se připojíte k propojené službě, kterou jste vytvořili.

1. Přejděte na kartu Spravovat .

   Poznámka:

   Karta Spravovat nemusí být k dispozici pro všechny instance služby Data Factory. Pokud ho nevidíte, můžete získat přístup k privátním koncovým bodům výběrem možnosti Vytvořit>privátní koncový bod připojení.>

2. Přejděte do části Spravované privátní koncové body .

3. V části Spravované privátní koncové body vyberte + Nový.

   

4. V seznamu vyberte dlaždici Azure Blob Storage a vyberte Pokračovat.

5. Zadejte název účtu úložiště, který jste vytvořili.

6. Vyberte Vytvořit.

7. Po několika sekundách byste měli vidět, že privátní propojení vytvořené vyžaduje schválení.

8. Vyberte privátní koncový bod, který jste vytvořili. Zobrazí se hypertextový odkaz, který vás povede ke schválení privátního koncového bodu na úrovni účtu úložiště.

   

Schválení privátního propojení v účtu úložiště

1. V účtu úložiště přejděte do připojení privátního koncového bodu v části Nastavení.

2. Zaškrtněte políčko pro privátní koncový bod, který jste vytvořili, a vyberte Schválit.

   

3. Přidejte popis a vyberte ano.

4. Vraťte se do části Spravované privátní koncové body na kartě Správa ve službě Data Factory.

5. Po přibližně jedné nebo dvou minutách by se mělo v uživatelském rozhraní služby Data Factory zobrazit schválení vašeho privátního koncového bodu.

Konfigurace jímky

Tip

V tomto kurzu použijete ověřování SQL jako typ ověřování pro úložiště dat jímky. V případě potřeby můžete také zvolit jiné podporované metody ověřování, jako je instanční objekt a spravovaná identita . Další informace najdete v odpovídajících částech v tématu Kopírování a transformace dat ve službě Azure SQL Database pomocí služby Azure Data Factory.

Pokud chcete bezpečně ukládat tajné kódy pro úložiště dat, doporučujeme také použít Azure Key Vault. Další informace a ilustrace najdete v tématu Ukládání přihlašovacích údajů ve službě Azure Key Vault.

Vytvoření datové sady jímky a propojené služby

1. Přejděte na kartu Jímka, vyberte + Nová a vytvořte datovou sadu jímky.

2. V dialogovém okně Nová datová sada zadejte do vyhledávacího pole SQL filtr konektorů. Vyberte Azure SQL Database a pak vyberte Pokračovat. V tomto kurzu zkopírujte data do databáze SQL Database.

3. V dialogovém okně Nastavit vlastnosti zadejte outputSqlDataset pro název. V rozevíracím seznamu Propojená služba vyberte + Nový. Datová sada musí být přidružená k propojené službě. Propojená služba obsahuje připojovací řetězec, který služba Data Factory používá pro připojení k databázi SQL za běhu. Datová sada určuje kontejner, složku a soubor (volitelné), do kterého se data kopírují.

4. V dialogovém okně Nová propojená služba (Azure SQL Database) proveďte následující kroky:

   1. Do pole Název zadejte AzureSqlDatabaseLinkedService.
   2. V rozevíracím seznamu Název serveru vyberte příslušný název instance SQL Serveru.
   3. Ujistěte se, že jste povolili interaktivní vytváření.
   4. V rozevíracím seznamu Název databáze vyberte svoji databázi SQL Database.
   5. Do pole Uživatelské jméno zadejte jméno uživatele.
   6. Do pole Heslo zadejte heslo pro tohoto uživatele.
   7. Vyberte Test připojení. Měl by selhat, protože SQL server umožňuje přístup jenom z vybraných sítí a vyžaduje, aby služba Data Factory vytvořila privátní koncový bod, který by se měl před použitím schválit. V chybové zprávě by se měl zobrazit odkaz na vytvoření privátního koncového bodu, podle kterého můžete vytvořit spravovaný privátní koncový bod. Alternativou je přejít přímo na kartu Správa a podle pokynů v další části vytvořit spravovaný privátní koncový bod.
   8. Nechte dialogové okno otevřené a přejděte na vybraný SQL Server.
   9. Podle pokynů v této části schvalte privátní propojení.
   10. Vraťte se do dialogového okna. Znovu vyberte Test připojení a výběrem možnosti Vytvořit nasaďte propojenou službu.

5. Automaticky přejde do dialogového okna Nastavit vlastnosti . V rozevíracím seznamu Tabulka vyberte [dbo].[emp]. Pak vyberte OK.

6. Přejděte na kartu s kanálem a v datové sadě jímky ověřte, že je vybraná sada OutputSqlDataset .

   

Volitelně můžete schéma zdroje namapovat na odpovídající schéma cíle pomocí mapování schématu v aktivitě kopírování.

Vytvoření spravovaného privátního koncového bodu

Pokud jste při testování připojení nevybrali hypertextový odkaz, postupujte podle cesty. Teď potřebujete vytvořit spravovaný privátní koncový bod, který se připojíte k propojené službě, kterou jste vytvořili.

1. Přejděte na kartu Spravovat .

2. Přejděte do části Spravované privátní koncové body .

3. V části Spravované privátní koncové body vyberte + Nový.

   

4. V seznamu vyberte dlaždici Azure SQL Database a vyberte Pokračovat.

5. Zadejte název serveru SQL, který jste vybrali.

6. Vyberte Vytvořit.

7. Po několika sekundách byste měli vidět, že privátní propojení vytvořené vyžaduje schválení.

8. Vyberte privátní koncový bod, který jste vytvořili. Zobrazí se hypertextový odkaz, který vás povede ke schválení privátního koncového bodu na úrovni SQL Serveru.

Schválení privátního propojení na SQL Serveru

1. Na SQL Serveru přejděte do připojení privátního koncového bodu v části Nastavení.
2. Zaškrtněte políčko pro privátní koncový bod, který jste vytvořili, a vyberte Schválit.
3. Přidejte popis a vyberte ano.
4. Vraťte se do části Spravované privátní koncové body na kartě Správa ve službě Data Factory.
5. Zobrazení schválení privátního koncového bodu by mělo trvat jednu nebo dvě minuty.

Ladění a publikování kanálu

Před publikováním artefaktů (propojených služeb, datových sad a kanálu) do služby Data Factory nebo vlastního úložiště Gitu Azure Repos můžete kanál odladit.

1. K ladění kanálu vyberte na panelu nástrojů Ladit. Na kartě Výstup v dolní části okna se zobrazí stav spuštění kanálu.
2. Po úspěšném spuštění kanálu vyberte na horním panelu nástrojů možnost Publikovat vše. Tato akce publikuje entity (datové sady a kanály), které jste vytvořili ve službě Data Factory.
3. Počkejte, dokud se nezobrazí zpráva Publikování proběhlo úspěšně. Pokud chcete zobrazit zprávy s oznámeními, vyberte Zobrazit oznámení v pravém horním rohu (tlačítko zvonku).

Shrnutí

Kanál v této ukázce kopíruje data z úložiště objektů blob do služby SQL Database pomocí privátních koncových bodů ve spravované virtuální síti služby Data Factory. Naučili jste se:

• Vytvoření datové továrny
• Vytvoření kanálu s aktivitou kopírování