Gegevens laden in een toegewezen SQL-pool in Azure Synapse Analytics met SQL Server Integration Services (SSIS)
van toepassing op:
Azure Synapse Analytics-
Maak een SSIS-pakket (SQL Server Integration Services) om gegevens te laden in een toegewezen SQL-pool in Azure Synapse Analytics-. U kunt de gegevens desgewenst opnieuw structureren, transformeren en opschonen wanneer deze de SSIS-gegevensstroom passeren.
In dit artikel leest u hoe u het volgende kunt doen:
- Maak een nieuw Integration Services-project in Visual Studio.
- Ontwerp een SSIS-pakket waarmee gegevens uit de bron naar het doel worden geladen.
- Voer het SSIS-pakket uit om de gegevens te laden.
Basisbegrippen
Het pakket is de basiseenheid voor werk in SSIS. Gerelateerde pakketten worden gegroepeerd in projecten. U maakt projecten en ontwerppakketten in Visual Studio met SQL Server Data Tools. Het ontwerpproces is een visueel proces waarin u onderdelen van de Werkset naar het ontwerpoppervlak sleept en neer zet, deze verbindt en de eigenschappen ervan instelt. Nadat u het pakket hebt voltooid, kunt u het uitvoeren en desgewenst implementeren in SQL Server of SQL Database voor uitgebreid beheer, bewaking en beveiliging.
Een gedetailleerde inleiding tot SSIS valt buiten het bereik van dit artikel. Zie de volgende artikelen voor meer informatie:
Opties voor het laden van gegevens in Azure Synapse Analytics met SSIS
SQL Server Integration Services (SSIS) is een flexibele set hulpprogramma's die verschillende opties biedt voor het maken van verbinding met en het laden van gegevens in Azure Synapse Analytics.
De voorkeursmethode, die de beste prestaties biedt, is het maken van een pakket dat gebruikmaakt van de Azure SQL DW-uploadtaak om de gegevens te laden. Met deze taak worden zowel bron- als doelgegevens ingekapseld. Hierbij wordt ervan uitgegaan dat uw brongegevens lokaal worden opgeslagen in tekstbestanden met scheidingstekens.
U kunt ook een pakket maken dat gebruikmaakt van een gegevensstroomtaak die een bron en een bestemming bevat. Deze benadering ondersteunt een breed scala aan gegevensbronnen, waaronder SQL Server en Azure Synapse Analytics.
Voorwaarden
Als u deze zelfstudie wilt doorlopen, hebt u het volgende nodig:
SSIS -(SQL Server Integration Services). SSIS is een onderdeel van SQL Server en vereist een gelicentieerde versie, of de ontwikkelaars- of evaluatieversie van SQL Server. Zie SQL Server evaluerenvoor een evaluatieversie van SQL Server.
Visual Studio - (optioneel). Zie Visual Studio Community-om de gratis Visual Studio Community-editie te downloaden. Als u Visual Studio niet wilt installeren, kunt u alleen SQL Server Data Tools (SSDT) installeren. SSDT installeert een versie van Visual Studio met beperkte functionaliteit.
SQL Server Data Tools for Visual Studio (SSDT). Zie Download SQL Server Data Tools (SSDT)om SQL Server Data Tools voor Visual Studio te verkrijgen.
een Azure Synapse Analytics-database en -machtigingen. Deze handleiding maakt verbinding met een toegewezen SQL-database in het Azure Synapse Analytics-exemplaar en laadt data erin. U moet gemachtigd zijn om verbinding te maken, een tabel te maken en gegevens te laden.
Een nieuw Integration Services-project maken
Start Visual Studio.
Selecteer Bestand in het menu, en kies vervolgens Nieuw | Project.
Ga naar de Geïnstalleerd | Sjablonen | Business Intelligence | Integration Services project-typen.
Selecteer Integratieservicesproject. Geef waarden op voor naam en locatieen selecteer OK-.
Visual Studio wordt geopend en er wordt een nieuw SSIS-project (Integration Services) gemaakt. Vervolgens opent Visual Studio de ontwerpfunctie voor het enkele nieuwe SSIS-pakket (Package.dtsx) in het project. U ziet de volgende schermgebieden:
Aan de linkerkant de Toolbox van SSIS-onderdelen.
In het midden, het ontwerpoppervlak, met meerdere tabbladen. Doorgaans gebruikt u ten minste de controlestroom en de tabbladen gegevensstroom.
Aan de rechterkant Solution Explorer en de deelvensters Eigenschappen.
Optie 1: de SQL DW-uploadtaak gebruiken
De eerste benadering is een pakket dat gebruikmaakt van de SQL DW-uploadtaak. Met deze taak worden zowel bron- als doelgegevens ingekapseld. Hierbij wordt ervan uitgegaan dat uw brongegevens worden opgeslagen in tekstbestanden met scheidingstekens, lokaal of in Azure Blob Storage.
Vereisten voor optie 1
Als u wilt doorgaan met de zelfstudie met deze optie, hebt u het volgende nodig:
Het Microsoft SQL Server Integration Services Feature Pack voor Azure. De SQL DW-uploadtaak is een onderdeel van het feature pack.
Een Azure Blob Storage--account. De SQL DW Upload-taak laadt gegevens uit Azure Blob Storage in Azure Synapse Analytics. U kunt bestanden laden die zich al in Blob Storage bevinden of u kunt bestanden laden vanaf uw computer. Als u bestanden op uw computer selecteert, uploadt de SQL DW-uploadtaak ze eerst naar Blob Storage voor fasering en laadt deze vervolgens in uw toegewezen SQL-pool.
De SQL DW-uploadtaak toevoegen en configureren
Sleep een SQL DW-uploadtaak van de toolbox naar het midden van het ontwerpoppervlak (op het tabblad Controleflow).
Dubbelklik op de taak om de SQL DW Upload-taakeditorte openen.
Configureer de taak met behulp van de richtlijnen in het artikel Azure SQL DW Upload Task. Omdat deze taak zowel bron- als doelgegevens bevat, en de toewijzingen tussen bron- en doeltabellen, bevat de taakeditor verschillende pagina's met instellingen die moeten worden geconfigureerd.
Handmatig een vergelijkbare oplossing maken
Voor meer controle kunt u handmatig een pakket maken waarmee het werk wordt geëmuleren dat wordt uitgevoerd door de SQL DW-uploadtaak.
Gebruik de Azure Blob Upload-taak om de gegevens in Azure Blob Storage te fasen. Om de Azure Blob Upload-taak te verkrijgen, downloadt u het Microsoft SQL Server Integration Services Feature Pack voor Azure.
Gebruik vervolgens de SSIS Execute SQL-taak om een PolyBase-script te starten waarmee de gegevens in uw toegewezen SQL-pool worden geladen. Zie Zelfstudie: Gegevens laden in Azure Synapse Analyticsvoor een voorbeeld van het laden van gegevens uit Azure Blob Storage in een toegewezen SQL-pool (maar niet met SSIS).
Optie 2: een bron en doel gebruiken
De tweede benadering is een typisch pakket dat gebruikmaakt van een gegevensstroomtaak die een bron en een bestemming bevat. Deze benadering ondersteunt een breed scala aan gegevensbronnen, waaronder SQL Server en Azure Synapse Analytics.
In deze zelfstudie wordt SQL Server gebruikt als gegevensbron. SQL Server wordt on-premises of op een virtuele Azure-machine uitgevoerd.
Als u verbinding wilt maken met SQL Server en een toegewezen SQL-pool, kunt u een ADO.NET verbindingsbeheer en bron en doel gebruiken, of een OLE DB-verbindingsbeheer en -bron en -doel. In deze zelfstudie wordt ADO.NET gebruikt omdat deze de minste configuratieopties heeft. OLE DB biedt mogelijk iets betere prestaties dan ADO.NET.
Als snelkoppeling kunt u de Wizard voor Importeren en Exporteren in SQL Server gebruiken om het basispakket te maken. Sla het pakket vervolgens op en open het in Visual Studio of SSDT om het te bekijken en aan te passen. Voor meer informatie, zie Gegevens importeren en exporteren met de SQL Server Wizard Importeren en Exporteren.
Vereisten voor optie 2
Als u wilt doorgaan met de zelfstudie met deze optie, hebt u het volgende nodig:
voorbeeldgegevens. In deze zelfstudie worden voorbeeldgegevens gebruikt die zijn opgeslagen in SQL Server in de AdventureWorks-voorbeelddatabase als de brongegevens die moeten worden geladen in een toegewezen SQL-pool. Zie AdventureWorks Sample Databasesom de AdventureWorks-voorbeelddatabases op te halen.
een firewallregel. U moet een firewallregel maken voor uw toegewezen SQL-pool met het IP-adres van uw lokale computer voordat u gegevens kunt uploaden naar de toegewezen SQL-pool.
De basisgegevensstroom maken
Sleep een gegevensstroomtaak van de werkbalk naar het midden van het ontwerpoppervlak (op het tabblad Control Flow).
Dubbelklik op de gegevensstroomtaak om over te schakelen naar het tabblad Gegevensstroom.
Sleep vanuit de lijst Overige bronnen in de werkset een ADO.NET Bron naar het ontwerpoppervlak. Terwijl de bronadapter nog steeds is geselecteerd, wijzigt u de naam ervan in SQL Server-bron in het deelvenster Eigenschappen.
Sleep een ADO.NET-bestemming vanuit de lijst Andere bestemmingen in de Werkbalk naar het ontwerpoppervlak onder de ADO.NET-bron. Terwijl de doeladapter nog steeds is geselecteerd, verandert u de naam in SQL DW bestemming in het deelvenster Eigenschappen.
De bronadapter configureren
Dubbelklik op de bronadapter om de ADO.NET broneditorte openen.
Selecteer op het tabblad Verbindingsbeheer van de ADO.NET broneditorde knop Nieuwe naast de ADO.NET verbindingsbeheerlijst lijst om het dialoogvenster ADO.NET Verbindingsbeheer configureren te openen en verbindingsinstellingen te maken voor de SQL Server-database waaruit in deze zelfstudie gegevens worden geladen.
Selecteer in het dialoogvenster ADO.NET Verbindingsbeheer configureren de knop Nieuw om het dialoogvenster Verbindingsbeheer te openen en om een nieuwe gegevensverbinding te maken.
Het volgende moet u doen in het dialoogvenster Verbindingsbeheer.
Selecteer voor Providerde SqlClient-gegevensprovider.
Voer bij Servernaamde SQL Server-naam in.
Selecteer of voer in het gedeelte Aanmelden bij de server verificatiegegevens in of uit.
Selecteer in de sectie Verbinding maken met een database de voorbeelddatabase AdventureWorks.
Selecteer Test verbinding.
Selecteer in het dialoogvenster waarin de resultaten van de verbindingstest worden gerapporteerd OK- om terug te keren naar het dialoogvenster Verbindingsbeheer.
Selecteer in het dialoogvenster Verbindingsbeheer de optie OK om terug te keren naar het dialoogvenster Verbindingsbeheer voor ADO.NET configureren.
Selecteer in het dialoogvenster Configureren van ADO.NET-verbindingsbeheerOK om terug te keren naar de ADO.NET Broneditor.
Selecteer in de ADO.NET broneditorin de naam van de tabel of de weergave lijst de tabel Sales.SalesOrderDetail.
Selecteer Voorbeeld om de eerste 200 rijen met gegevens in de brontabel weer te geven in het dialoogvenster Voorbeeld van Queryresultaten.
Selecteer in het dialoogvenster Voorbeeld van queryresultatenSluiten om terug te keren naar de ADO.NET Broneditor.
Selecteer in de ADO.NET BroneditorOK om de configuratie van de gegevensbron te voltooien.
De bronadapter verbinden met de doeladapter
Selecteer de bronadapter op het ontwerpoppervlak.
Selecteer de blauwe pijl die uitgaat van de bronadapter en sleep deze naar de doel-editor totdat deze vastklikt.
In een typisch SSIS-pakket gebruikt u verschillende andere onderdelen uit de SSIS-werkset tussen de bron en de bestemming om uw gegevens te herstructureren, transformeren en op te schonen wanneer deze de SSIS-gegevensstroom doorloopt. Om dit voorbeeld zo eenvoudig mogelijk te houden, verbinden we de bron rechtstreeks met de bestemming.
De doeladapter configureren
Dubbelklik op de doeladapter om de ADO.NET Doeleditorte openen.
Selecteer op het tabblad Verbindingsbeheer van de ADO.NET Bestemming Editorde knop Nieuw naast de lijst Verbindingsbeheerder om het dialoogvenster ADO.NET Verbindingsbeheerder configureren te openen en verbindingsinstellingen te maken voor de Azure Synapse Analytics-database waarin deze zelfstudie gegevens laadt.
Selecteer in het dialoogvenster ADO.NET Verbindingsbeheer configureren de knop Nieuw om het dialoogvenster Verbindingsbeheer te openen en een nieuwe gegevensverbinding te maken.
Voer de volgende stappen uit in het dialoogvenster Verbindingsbeheer.
Selecteer voor Providerde SqlClient-gegevensprovider.
Voer voor Servernaamde naam van de toegewezen SQL-pool in.
In de sectie Aanmelden bij de server, selecteer Gebruik SQL Server-authenticatie, en voer verificatiegegevens in.
Selecteer in de sectie Verbinding maken met een database een bestaande toegewezen SQL-pooldatabase.
Selecteer Verbinding testen.
Selecteer in het dialoogvenster waarin de resultaten van de verbindingstest worden gerapporteerd OK- om terug te keren naar het dialoogvenster Verbindingsbeheer.
Selecteer in het dialoogvenster ADO.NET-verbindingsbeheerderOK om terug te keren naar het dialoogvenster Configureer ADO.NET-verbindingsbeheerder.
Selecteer in het dialoogvenster Configure ADO.NET Connection ManagerOK om terug te keren naar de ADO.NET Bestemming Editor.
Selecteer in de ADO.NET Bestemming-editorNieuw naast de lijst Gebruik een tabel of weergave om het dialoogvenster Tabel maken te openen en een nieuwe doeltabel te maken met een kolomlijst die overeenkomt met de brontabel.
Voer de volgende handelingen uit in het dialoogvenster Tabel maken.
Wijzig de naam van de doeltabel in SalesOrderDetail.
Verwijder de kolom met de naam rowguid. Het uniqueidentifier gegevenstype wordt niet ondersteund in een toegewezen SQL-pool.
Wijzig het gegevenstype van de kolom LineTotal in geld. Het decimaal gegevenstype wordt niet ondersteund in een toegewezen SQL-pool. Zie CREATE TABLE (Azure Synapse Analytics, Parallel Data Warehouse)voor informatie over ondersteunde gegevenstypen.
Selecteer OK- om de tabel te maken en terug te keren naar de ADO.NET Doeleditor.
Selecteer in de ADO.NET Doeleditorhet tabblad Toewijzingen om te zien hoe kolommen in de bron worden toegewezen aan kolommen in het doel.
Selecteer OK- om het configureren van het doel te voltooien.
Voer het pakket uit om de gegevens te laden
Voer het pakket uit door de knop Start op de werkbalk te selecteren of door een van de opties uitvoeren te selecteren in het menu Foutopsporing.
In de volgende alinea's wordt beschreven wat u ziet als u het pakket hebt gemaakt met de tweede optie die in dit artikel wordt beschreven, dat wil gezegd, met een gegevensstroom die een bron en doel bevat.
Terwijl het pakket begint te draaien, ziet u gele ronddraaiende wielen die de activiteit en het aantal reeds verwerkte rijen aanduiden.
Wanneer het pakket is uitgevoerd, ziet u groene vinkjes om aan te geven dat het is gelukt en het totale aantal rijen met gegevens dat van de bron naar de bestemming is geladen.
Gefeliciteerd, u hebt SQL Server Integration Services gebruikt om gegevens te laden in Azure Synapse Analytics.