Sdílet prostřednictvím

Načtení dat do vyhrazeného fondu SQL ve službě Azure Synapse Analytics pomocí služby SSIS (SQL Server Integration Services)

  • Článek

platí pro:azure Synapse Analytics

Vytvořte balíček služby SSIS (SQL Server Integration Services) pro načtení dat do vyhrazeného fondu SQL v azure Synapse Analytics. Volitelně můžete měnit strukturu, transformovat a vyčistit data při průchodu tokem dat SSIS.

V tomto článku se dozvíte, jak provést následující akce:

  • Vytvořte nový projekt Integrační služby v sadě Visual Studio.
  • Navrhňte balíček SSIS, který načte data ze zdroje do cíle.
  • Spusťte balíček SSIS a načtěte data.

Základní koncepty

Balíček je základní jednotka práce ve službě SSIS. Související balíčky jsou seskupené v projektech. V sadě Visual Studio vytvoříte projekty a balíčky návrhu pomocí SQL Server Data Tools. Proces návrhu je vizuální proces, ve kterém přetáhnete součásti ze sady nástrojů na návrhovou plochu, propojíte je a nastavíte jejich vlastnosti. Po dokončení balíčku ho můžete spustit a volitelně ho nasadit do SQL Serveru nebo služby SQL Database pro komplexní správu, monitorování a zabezpečení.

Podrobný úvod do služby SSIS je nad rámec tohoto článku. Další informace najdete v následujících článcích:

Možnosti načítání dat do Azure Synapse Analytics pomocí služby SSIS

SQL Server Integration Services (SSIS) je flexibilní sada nástrojů, které poskytují různé možnosti pro připojení k Azure Synapse Analytics a načítání dat do služby Azure Synapse Analytics.

  1. Upřednostňovanou metodou, která poskytuje nejlepší výkon, je vytvořit balíček, který k načtení dat používá úlohy nahrání služby Azure SQL DW. Tento úkol obsahuje informace o zdroji a cíli. Předpokládá se, že se zdrojová data ukládají místně v textových souborech s oddělovači.

  2. Alternativně můžete vytvořit balíček, který používá úlohu toku dat, která obsahuje zdroj a cíl. Tento přístup podporuje širokou škálu zdrojů dat, včetně SQL Serveru a Azure Synapse Analytics.

Požadavky

K procházení tohoto kurzu potřebujete následující věci:

  1. SSIS (SQL Server Integration Services). Služba SSIS je součástí SQL Serveru a vyžaduje licencovanou verzi sql Serveru nebo verzi pro vývojáře nebo zkušební verzi. Pokud chcete získat zkušební verzi SQL Serveru, přečtěte si téma Vyhodnocení sql Serveru.

  2. Visual Studio (volitelné). Pokud chcete získat bezplatnou sadu Visual Studio Community Edition, podívejte se na Visual Studio Community. Pokud nechcete nainstalovat Visual Studio, můžete nainstalovat jenom SQL Server Data Tools (SSDT). SSDT nainstaluje verzi sady Visual Studio s omezenými funkcemi.

  3. SQL Server Data Tools for Visual Studio (SSDT). Pokud chcete získat SQL Server Data Tools pro Visual Studio, přečtěte si téma Stažení SQL Server Data Tools (SSDT).

  4. databáze a oprávnění Azure Synapse Analytics. Tento tutoriál se připojí k vyhrazenému SQL poolu v instanci Azure Synapse Analytics a načte do něj data. Musíte mít oprávnění k připojení, vytvoření tabulky a načtení dat.

Vytvoření nového projektu integračních služeb

  1. Spusťte Visual Studio.

  2. V nabídce Soubor vyberte Nový | Projekt.

  3. Přejděte na typy projektů Nainstalované | Šablony | Business Intelligence | Integrační služby.

  4. Vyberte Projekt integračních služeb. Zadejte hodnoty pro název a umístění, a potom vyberte OK.

Visual Studio se otevře a vytvoří nový projekt SSIS (Integration Services). Potom Visual Studio otevře návrháře pro jeden nový balíček SSIS (Package.dtsx) v projektu. Zobrazí se následující oblasti obrazovky:

  • Na levé straně je sada nástrojů pro součásti služby SSIS.

  • Uprostřed je návrhová plocha s několika kartami. Obvykle používáte alespoň karty Řízení toku a Tok dat.

  • Na pravé straně podokna Průzkumník řešení a Vlastnosti.

    snímek obrazovky sady Visual Studio zobrazující podokno Sady nástrojů, podokno návrhu, podokno Průzkumníka řešení a podokno Vlastnosti

Možnost 1 – Použití nahrávací úlohy SQL DW

Prvním přístupem je balíček, který používá úlohu nahrávání SQL DW. Tento úkol obsahuje informace o zdroji i cíli. Předpokládá se, že zdrojová data jsou uložená v textových souborech s oddělovači místně nebo ve službě Azure Blob Storage.

Požadavky pro možnost 1

Pokud chcete pokračovat v kurzu s touto možností, potřebujete následující věci:

  • Microsoft SQL Server Integration Services Feature Pack pro Azure. Úloha nahrání datového skladu SQL je součástí sady Feature Pack.

  • Účet služby Azure Blob Storage. Úloha SQL DW Upload načte data ze služby Azure Blob Storage do Azure Synapse Analytics. Můžete načíst soubory, které už jsou ve službě Blob Storage, nebo můžete načíst soubory ze svého počítače. Pokud vyberete soubory ve vašem počítači, úloha SQL DW pro nahrání je prvně nahraje do služby Blob Storage pro dočasné uložení a poté je načte do vašeho vyhrazeného fondu SQL.

Přidat a nakonfigurovat úlohu nahrávání pro SQL DW

  1. Přetáhněte úlohu nahrávání SQL DW ze sady nástrojů do středu návrhové plochy (na kartě Tok řízení).

  2. Dvakrát poklepejte na úkol, abyste otevřeli Editor úloh SQL DW Upload Task Editor.

    snímek obrazovky s Obecnou stránkou editoru úloh pro nahrání SQL DW

  3. Nakonfigurujte úlohu pomocí pokynů v článku Azure SQL DW Upload Task. Vzhledem k tomu, že tato úloha obsahuje informace o zdroji i cíli a mapování mezi zdrojovými a cílovými tabulkami, má editor úloh několik stránek pro nastavení, které je třeba nakonfigurovat.

Ruční vytvoření podobného řešení

Pro větší kontrolu můžete ručně vytvořit balíček, který emuluje práci provedenou úlohou nahrání služby SQL DW.

  1. Pomocí úlohy nahrání objektu blob v Azure můžete data ve službě Azure Blob Storage vytvořit. Pokud chcete získat úlohu Nahrání souborů Blob do Azure, stáhněte si Microsoft SQL Server Integration Services Feature Pack pro Azure.

  2. Potom pomocí úlohy SSIS Execute SQL spusťte skript PolyBase, který načte data do vyhrazeného fondu SQL. Příklad, který načte data ze služby Azure Blob Storage do vyhrazeného fondu SQL (ale ne pomocí služby SSIS), najdete v kurzu: Načtení dat do služby Azure Synapse Analytics.

Možnost 2 – Použití zdroje a cíle

Druhým přístupem je typický balíček, který používá úlohu toku dat, která obsahuje zdroj a cíl. Tento přístup podporuje širokou škálu zdrojů dat, včetně SQL Serveru a Azure Synapse Analytics.

V tomto kurzu se jako zdroj dat používá SQL Server. SQL Server běží místně nebo na virtuálním počítači Azure.

Pokud se chcete připojit k SQL Serveru a k vyhrazenému fondu SQL, můžete použít správce připojení ADO.NET a jako zdroj a cíl, nebo použít správce připojení OLE DB a jako zdroj a cíl. Tento kurz používá ADO.NET, protože má nejmenší možnosti konfigurace. OLE DB může poskytovat mírně lepší výkon než ADO.NET.

Jako zkratku můžete použít Průvodce importem a exportem serveru SQL k vytvoření základního balíčku. Potom balíček uložte a otevřete ho v sadě Visual Studio nebo SSDT, abyste ho mohli zobrazit a přizpůsobit. Další informace najdete v tématu importu a exportu dat pomocí průvodce importem a exportem SQL Serveru.

Požadavky pro možnost 2

Pokud chcete pokračovat v kurzu s touto možností, potřebujete následující věci:

  1. ukázková data. Tento kurz používá ukázková data uložená na SQL Serveru v ukázkové databázi AdventureWorks jako zdrojová data, která se mají načíst do vyhrazeného fondu SQL. Pokud chcete získat ukázkovou databázi AdventureWorks, prohlédněte si AdventureWorks Sample Databases.

  2. pravidlo brány firewall. Než budete moct nahrát data do vyhrazeného fondu SQL, je třeba vytvořit ve stejném fondu pravidlo brány firewall, které bude zahrnovat IP adresu vašeho místního počítače.

Vytvoření základního toku dat

  1. Přetáhněte úlohu datového toku ze sady nástrojů do středu návrhové plochy (na kartě Řízení toku).

    Snímek obrazovky sady Visual Studio zobrazující, jak se úloha toku dat přetahuje na záložku Řízení toku v návrhovém podokně.

  2. Dvojitým kliknutím na úlohu toku dat přesuňte se na kartu Tok dat.

  3. Ze seznamu Další zdroje v sadě nástrojů přetáhněte ADO.NET Zdroj na návrhovou plochu. Pokud je zdrojový adaptér stále vybraný, změňte jeho název na zdroje SQL Serveru v podokně Vlastnosti.

  4. Z nabídky Další destinace v sadě nástrojů přetáhněte ADO.NET Destination na návrhovou plochu pod položku ADO.NET Source. Pokud je cílový adaptér stále vybraný, změňte jeho název na SQL DW destinace v podokně Vlastnosti.

    snímek obrazovky s cílovým adaptérem, který se přetahuje do umístění přímo pod zdrojovým adaptérem.

Konfigurace zdrojového adaptéru

  1. Poklepáním na zdrojový adaptér otevřete Editor zdrojeADO.NET.

    snímek obrazovky se zdrojovým editorem ADO.NET Karta Správce připojení je viditelná a ovládací prvky jsou k dispozici pro konfiguraci vlastností toku dat.

  2. Na kartě Správce připojení v Editoru zdroje ADO.NETvyberte tlačítko Nový vedle seznamu správce připojení ADO.NET a otevřete dialogové okno Konfigurace správce připojení ADO.NET a nastavte připojení pro databázi SQL Serveru, ze které tento tutoriál načítá data.

    snímek obrazovky s dialogovým oknem Konfigurovat ADO.NET Správce připojení Ovládací prvky jsou k dispozici pro nastavení a konfiguraci správců připojení.

  3. V dialogovém okně Konfigurace Správce připojení ADO.NET vyberte tlačítko Nový, které umožňuje otevřít dialogové okno Správce připojení a vytvořit nové datové připojení.

    snímek obrazovky s dialogovým oknem Správce připojení Ovládací prvky jsou k dispozici pro konfiguraci datového připojení.

  4. V dialogovém okně Správce připojení proveďte následující akce.

    1. Vyberte poskytovatele , SqlClient Data Provider pro poskytovatele.

    2. Jako Název serveruzadejte název SQL Serveru.

    3. V části Přihlášení k serveru vyberte nebo zadejte ověřovací údaje.

    4. V části Připojit k databázi vyberte ukázkovou databázi AdventureWorks.

    5. Vyberte Test připojení.

      Snímek obrazovky dialogového okna zobrazující tlačítko OK a text označující, že testovací připojení bylo úspěšné.

    6. V dialogovém okně, které hlásí výsledky testu připojení, vyberte OK a vraťte se do dialogového okna Správce připojení.

    7. V dialogovém okně Správce připojení vyberte OK a vraťte se do dialogového okna Konfigurovat Správce připojení ADO.NET.

  5. V dialogovém okně Konfigurace správce připojení ADO.NET vyberte OK a vraťte se doEditoru zdrojů ADO.NET.

  6. V editoru zdrojů ADO.NET , v seznamu Název tabulky nebo pohledu, vyberte tabulku Sales.SalesOrderDetail.

    snímek obrazovky se zdrojovým editorem ADO.NET V názvu tabulky nebo seznamu zobrazení je vybrána tabulka Sales.SalesOrderDetail.

  7. Výběrem Náhled zobrazíte prvních 200 řádků dat ve zdrojové tabulce v dialogovém okně Náhled výsledků dotazu.

    snímek obrazovky s dialogovým oknem Náhled výsledků dotazu Zobrazí se několik řádků prodejních dat ze zdrojové tabulky.

  8. V dialogovém okně Náhled výsledků dotazu vyberte Zavřít a vraťte se do Editoru zdrojů ADO.NET.

  9. Veditoru zdrojů ADO.NET vyberte OK a dokončete konfiguraci zdroje dat.

Připojení zdrojového adaptéru k cílovému adaptéru

  1. Vyberte zdrojový adaptér na návrhové ploše.

  2. Vyberte modrou šipku, která vychází ze zdrojového adaptéru, a přetáhněte ji do cílového editoru, dokud se nezachytí na své místo.

    Snímek obrazovky se zdrojovými a cílovými adaptéry Modrá šipka ukazuje ze zdrojového adaptéru na cílový adaptér.

    V typickém balíčku SSIS použijete několik dalších komponent ze sady nástrojů SSIS mezi zdrojem a cílem k restrukturalizování, transformaci a čištění dat při průchodu tokem dat SSIS. Abychom tento příklad zachovali co nejjednodušší, připojujeme zdroj přímo k cíli.

Konfigurace cílového adaptéru

  1. Poklikáním na cílový adaptér otevřete ADO.NET Cílový editor.

    snímek obrazovky s ADO.NET cílovým editorem Karta Správce připojení je viditelná a obsahuje ovládací prvky pro konfiguraci vlastností toku dat.

  2. Na kartě Správce připojení v ADO.NET Destination Editor, vyberte tlačítko Nový vedle seznamu Správce připojení , aby se otevřelo dialogové okno Configure ADO.NET Connection Manager, a vytvořte nastavení připojení pro databázi Azure Synapse Analytics, do které tento kurz načte data.

  3. V dialogovém okně Správce připojení ADO.NET vyberte tlačítko Nový, čímž otevřete dialogové okno Správce připojení a umožníte vytvoření nového datového připojení.

  4. V dialogovém okně Správce připojení proveďte následující akce.

    1. U poskytovatele vyberte zprostředkovatele datSqlClient.

    2. Jako Název serveruzadejte název vyhrazeného SQL fondu.

    3. V části Přihlášení k serveru vyberte Použít ověřování SQL Serveru a zadejte ověřovací údaje.

    4. V části Připojit k databázi vyberte existující vyhrazenou databázi fondu SQL.

    5. Vyberte Test připojení.

    6. V dialogovém okně, které hlásí výsledky testu připojení, vyberte OK a vraťte se do dialogového okna Správce připojení.

    7. V dialogovém okně správce připojení klikněte na OK a vraťte se zpět do dialogového okna Správce připojení ADO.NET.

  5. V dialogovém okně Konfigurovat ADO.NET Správce připojení vyberte OK a vraťte se doADO.NET cílového editoru .

  6. Ve výběru cílového editoru ADO.NETvyberte Nový vedle seznamu Použít tabulku nebo zobrazení, čímž otevřete dialogové okno Vytvořit tabulku a vytvoříte novou cílovou tabulku se seznamem sloupců, který odpovídá zdrojové tabulce.

    snímek obrazovky s dialogovým oknem Vytvořit tabulku Zobrazí se kód Q L pro vytvoření cílové tabulky.

  7. V dialogovém okně Vytvořit tabulku proveďte následující akce.

    1. Změňte název cílové tabulky na SalesOrderDetail.

    2. Odeberte sloupec rowguid. Datový typ uniqueidentifier se ve vyhrazeném fondu SQL nepodporuje.

    3. Změňte datový typ sloupce LineTotal na měna. Datový typ desetinné není v dedikovaném SQL fondu podporovaný. Informace o podporovaných datových typech najdete v CREATE TABLE (Azure Synapse Analytics, Paralelní datový sklad).

      snímek obrazovky s dialogovým oknem Vytvořit tabulku s kódem pro vytvoření tabulky s názvem SalesOrderDetail s LineTotal jako sloupcem peněz a bez sloupce rowguid.

    4. Výběrem OK vytvořte tabulku a vraťte se docílového editoru ADO.NET .

  8. Ve Editoru cíle ADO.NETvyberte kartu Mapování a podívejte se, jak se sloupce ve zdroji mapují na sloupce v cíli.

    Snímek obrazovky karty Mapování v editoru ADO.NET Destination. Řádky spojují sloupce se stejnými názvy ve zdrojových a cílových tabulkách.

  9. Výběrem OK dokončete konfiguraci cíle.

Spusťte balíček pro načtení dat.

Spusťte balíček tak, že na panelu nástrojů vyberete tlačítko Start nebo vyberete některou z možností Spustit v nabídce Ladění.

Následující odstavce popisují, co vidíte, pokud jste balíček vytvořili s druhou možností popsanou v tomto článku, tedy s tokem dat obsahujícím zdroj a cíl.

S tím, jak se balíček začne spouštět, uvidíte žluté rotující kolečka, které indikují aktivitu a počet dosud zpracovaných řádků.

snímek obrazovky se zdrojovými a cílovými adaptéry se žlutými otočnými kolečky přes každý adaptér a textem řádků 29916 mezi nimi.

Po dokončení spuštění balíčku se zobrazí zelené značky zaškrtnutí, které označují úspěch a celkový počet řádků dat načtených ze zdroje do cíle.

Snímek obrazovky se zdrojovými a cílovými adaptéry. U každého adaptéru jsou zelené zaškrtnuté značky a text

Blahopřejeme, úspěšně jste pomocí služby SQL Server Integration Services načetli data do Azure Synapse Analytics.

Související obsah