SSIS-pakketten uitvoeren in Azure vanuit SSDT

VAN TOEPASSING OP: Azure Data Factory Azure Synapse Analytics

Tip

Probeer Data Factory uit in Microsoft Fabric, een alles-in-één analyseoplossing voor ondernemingen. Microsoft Fabric omvat alles, van gegevensverplaatsing tot gegevenswetenschap, realtime analyses, business intelligence en rapportage. Meer informatie over het gratis starten van een nieuwe proefversie .

In dit artikel wordt de functie van SSIS-projecten (SQL Server Integration Services) met Azure beschreven op SQL Server Data Tools (SSDT). Hiermee kunt u de cloudcompatibiliteit van uw SSIS-pakketten beoordelen en uitvoeren op Azure-SSIS Integration Runtime (IR) in Azure Data Factory (ADF). U kunt deze functie gebruiken om uw bestaande pakketten te testen voordat u ze naar Azure lift & shift/migreert of om nieuwe pakketten te ontwikkelen die in Azure moeten worden uitgevoerd.

Met deze functie kunt u een zojuist gemaakte/bestaande Azure-SSIS IR koppelen aan SSIS-projecten en vervolgens uw pakketten erop uitvoeren. We ondersteunen het uitvoeren van pakketten die moeten worden geïmplementeerd in SSIS-catalogus (SSISDB) die worden gehost door uw Azure SQL Database-server of beheerd exemplaar in projectimplementatiemodel. We ondersteunen ook het uitvoeren van pakketten die moeten worden geïmplementeerd in bestandssysteem/Azure Files/SQL Server-database (MSDB) die worden gehost door uw door Azure SQL beheerde exemplaar in pakketimplementatiemodel.

Vereisten

Als u deze functie wilt gebruiken, downloadt en installeert u de nieuwste SSDT met de SSIS Projects-extensie voor Visual Studio (VS) hier. U kunt ook de nieuwste SSDT downloaden en installeren als zelfstandig installatieprogramma.

SSIS-projecten inschakelen in Azure

Nieuwe SSIS-projecten met Azure maken

Op SSDT kunt u nieuwe SSIS-projecten met Azure maken met behulp van de sjabloon Integration Services Project (Azure-enabled).

Nadat het azure-project is gemaakt, wordt u gevraagd verbinding te maken met SSIS in Azure Data Factory.

Als u direct verbinding wilt maken met uw Azure-SSIS IR, raadpleegt u Verbinding maken met Azure-SSIS IR voor meer informatie. U kunt later ook verbinding maken door met de rechtermuisknop op uw projectknooppunt te klikken in het Solution Explorer-venster van SSDT om een menu te openen. Selecteer vervolgens het item Verbinding maken met SSIS in Azure Data Factory in het submenu van Azure Data Factory in SSIS.

Bestaande SSIS-projecten inschakelen in Azure

Voor bestaande SSIS-projecten kunt u ze inschakelen met Azure door de volgende stappen uit te voeren:

1. Klik met de rechtermuisknop op het projectknooppunt in het Solution Explorer-venster van SSDT om een menu weer te geven. Selecteer vervolgens het projectitem met Azure-functionaliteit in SSIS in het submenu van Azure Data Factory om de wizard Project met Azure te starten.

   

2. Selecteer op de pagina Visual Studio-configuratie selecteren uw bestaande VS-configuratie om de instellingen voor pakketuitvoering in Azure toe te passen. U kunt ook een nieuwe maken als u dit nog niet hebt gedaan. Zie Een nieuwe VS-configuratie maken. We raden u aan ten minste twee verschillende VS-configuraties te hebben voor pakketuitvoeringen in de lokale en cloudomgevingen, zodat u uw project kunt inschakelen op basis van de cloudconfiguratie. Op deze manier kunt u, als u uw project of pakketten hebt geparameteriseerd, verschillende waarden toewijzen aan uw project of pakketparameters tijdens runtime op basis van de verschillende uitvoeringsomgevingen (op uw lokale computer of in Azure). Zie Bijvoorbeeld Schakelen tussen pakketuitvoeringsomgevingen.

   

3. Als u uw bestaande SSIS-projecten inschakelt, moet u de doelserverversie instellen op de meest recente versie die wordt ondersteund door Azure-SSIS IR. Azure-SSIS IR is momenteel gebaseerd op SQL Server 2017. Zorg ervoor dat uw pakketten geen extra onderdelen bevatten die niet worden ondersteund in SQL Server 2017. Zorg er ook voor dat alle compatibele aanvullende onderdelen ook zijn geïnstalleerd op uw Azure-SSIS IR via aangepaste instellingen. Zie Aanpassen van uw Azure-SSIS IR. Selecteer de knop Volgende om door te gaan.

   

4. Zie Verbinding maken met Azure-SSIS IR om het verbinden van uw project met Azure-SSIS IR te voltooien.

Azure-projecten verbinden met SSIS in Azure Data Factory

Door uw azure-projecten te verbinden met SSIS in ADF, kunt u uw pakketten uploaden naar Azure Files en deze uitvoeren op Azure-SSIS IR. U kunt dit doen door de volgende stappen uit te voeren:

1. Bekijk de inleiding op de pagina SSIS in ADF Introduction en selecteer de knop Volgende om door te gaan.

   

2. Selecteer op de pagina SSIS IR selecteren in ADF uw bestaande ADF en Azure-SSIS IR om pakketten uit te voeren. U kunt ook nieuwe maken als u deze niet hebt.

   • Als u uw bestaande Azure-SSIS IR wilt selecteren, selecteert u eerst het relevante Azure-abonnement en ADF.
   • Als u uw bestaande ADF selecteert die geen Azure-SSIS IR heeft, selecteert u de knop SSIS IR maken om een nieuwe te maken in de ADF-portal. Nadat u deze hebt gemaakt, kunt u terugkeren naar deze pagina om uw nieuwe Azure-SSIS IR te selecteren.
   • Als u uw bestaande Azure-abonnement selecteert dat geen ADF heeft, selecteert u de knop SSIS IR maken om de wizard Integratieruntime maken te starten. In de wizard kunt u uw aangewezen locatie en voorvoegsel voor ons invoeren om automatisch een nieuwe Azure-resourcegroep, Data Factory en SSIS IR te maken, met de naam in het volgende patroon: YourPrefix-RG/DF/IR-YourCreationTime. Zodra u deze hebt gemaakt, kunt u terugkeren naar deze pagina om uw nieuwe ADF en Azure-SSIS IR te selecteren.

   

3. Selecteer op de pagina Azure Storage selecteren uw bestaande Azure Storage-account om pakketten te uploaden naar Azure Files. U kunt ook een nieuwe maken als u deze niet hebt.

   • Als u uw bestaande Azure Storage-account wilt selecteren, selecteert u eerst het relevante Azure-abonnement.
   • Als u hetzelfde Azure-abonnement selecteert als uw Azure-SSIS IR die geen Azure Storage-account heeft, selecteert u de knop Azure Storage maken . We maken automatisch een nieuwe namens u op dezelfde locatie als uw Azure-SSIS IR, genaamd door een voorvoegsel van uw Azure-SSIS IR-naam en de aanmaakdatum te combineren. Nadat u het account hebt gemaakt, kunt u terugkeren naar deze pagina om uw nieuwe Azure Storage-account te selecteren.
   • Als u een ander Azure-abonnement selecteert dat geen Azure Storage-account heeft, selecteert u de knop Azure Storage maken om een nieuw abonnement te maken in Azure Portal. Nadat u het account hebt gemaakt, kunt u terugkeren naar deze pagina om uw nieuwe Azure Storage-account te selecteren.

   

4. Selecteer de knop Verbinding maken om het verbinden van uw project met Azure-SSIS IR te voltooien. Uw geselecteerde Azure-SSIS IR en Azure Storage-account worden weergegeven onder het knooppunt Gekoppelde Azure-resources in het Solution Explorer-venster van SSDT. We vernieuwen en geven daar ook regelmatig de status van uw Azure-SSIS IR weer. U kunt uw Azure-SSIS IR beheren door met de rechtermuisknop op het knooppunt te klikken om een menu weer te geven en vervolgens het item Starten\Stoppen\Beheren te selecteren waarmee u naar de ADF-portal gaat.

SSIS-project\pakketten evalueren voor uitvoeringen in Azure

Eén of meerdere pakketten beoordelen

Voordat u uw pakketten in Azure uitvoert, kunt u deze beoordelen om mogelijke problemen met cloudcompatibiliteit weer te geven. Dit zijn migratieblokkeringen en aanvullende informatie waar u rekening mee moet houden.

• U hebt de opties om één voor één of alle pakketten tegelijk onder uw project te evalueren.

  

  

• In het venster Evaluatierapport van SSDT vindt u alle mogelijke problemen met cloudcompatibiliteit die worden weergegeven, elk met een eigen gedetailleerde beschrijving en aanbeveling. U kunt het evaluatierapport ook exporteren naar een CSV-bestand dat kan worden gedeeld met iedereen die deze problemen moet verhelpen.

  

Evaluatieregels onderdrukken

Zodra u zeker weet dat sommige mogelijke problemen met cloudcompatibiliteit niet van toepassing zijn of correct zijn verzacht in uw pakketten, kunt u de relevante evaluatieregels onderdrukken waarmee ze worden weergegeven. Dit vermindert het lawaai in uw volgende evaluatierapporten.

• Selecteer de koppeling Onderdrukking van evaluatieregels configureren in het venster Evaluatierapport van SSDT om het venster Onderdrukkingsinstellingen voor evaluatieregels weer te geven. Hier kunt u de evaluatieregels selecteren die u wilt onderdrukken.

  

• U kunt ook met de rechtermuisknop op het projectknooppunt klikken in het Solution Explorer-venster van SSDT om een menu te openen. Selecteer het item Met Azure ingeschakelde instellingen in SSIS in het submenu van Azure Data Factory om een venster met de projecteigenschapspagina's weer te geven. Selecteer de eigenschap Onderdrukte evaluatieregel-id's in de sectie Instellingen voor Azure. Selecteer ten slotte de knop met het beletselteken (...) om het venster Onderdrukkingsinstellingen voor evaluatieregels weer te geven, waar u de evaluatieregels kunt selecteren die u wilt onderdrukken.

  

  

SSIS-pakketten uitvoeren in Azure

Instellingen voor Azure configureren

Voordat u uw pakketten in Azure uitvoert, kunt u uw instellingen voor Azure configureren. U kunt bijvoorbeeld Windows-verificatie op uw Azure-SSIS IR inschakelen voor toegang tot on-premises/cloudgegevensarchieven door de volgende stappen uit te voeren:

1. Klik met de rechtermuisknop op het projectknooppunt in het Solution Explorer-venster van SSDT om een menu weer te geven. Selecteer vervolgens het item Instellingen met Azure-functionaliteit in SSIS in het submenu van Azure Data Factory om een venster te openen met de projecteigenschapspagina's.

   

2. Selecteer de eigenschap Windows-verificatie inschakelen in de sectie Instellingen voor Azure en selecteer Vervolgens Waar in de vervolgkeuzelijst. Selecteer vervolgens de eigenschap Windows-verificatiereferenties en selecteer vervolgens de knop met het beletselteken (...) om het venster Windows-verificatiereferenties weer te geven.

   

3. Voer uw Windows-verificatiereferenties in. Als u bijvoorbeeld toegang wilt krijgen tot Azure Files, kunt u respectievelijk domein, gebruikersnaam en wachtwoord invoeren AzureYourStorageAccountKey YourStorageAccountName.

   

Uitvoeringen van pakketten starten

Nadat u uw azure-projecten hebt verbonden met SSIS in ADF, hun cloudcompatibiliteit hebt beoordeeld en potentiële problemen hebt opgelost, kunt u uw pakketten uitvoeren/testen op Azure-SSIS IR.

• Selecteer de knop Start in de SSDT-werkbalk om een menu te selecteren. Selecteer vervolgens het item Uitvoeren in Azure .

  

• U kunt ook met de rechtermuisknop op het pakketknooppunt klikken in het Solution Explorer-venster van SSDT om een menu weer te geven. Selecteer vervolgens het execute package in Azure-item .

  

Notitie

Voor het uitvoeren van uw pakketten in Azure moet u beschikken over een actieve Azure-SSIS IR, dus als uw Azure-SSIS IR is gestopt, wordt er een dialoogvenster weergegeven om deze te starten. Met uitzondering van een aangepaste installatietijd moet dit proces binnen 5 minuten worden voltooid, maar het kan ongeveer 20 tot 30 minuten duren voordat Azure-SSIS IR lid wordt van een virtueel netwerk. Nadat u uw pakketten in Azure hebt uitgevoerd, kunt u uw Azure-SSIS IR stoppen om de lopende kosten te beheren door met de rechtermuisknop op het knooppunt in het Solution Explorer-venster van SSDT te klikken om een menu te openen en vervolgens het item Starten\Stoppen\Beheren te selecteren waarmee u naar de ADF-portal gaat.

Pakkettaak uitvoeren gebruiken

Als uw pakketten Pakkettaken uitvoeren bevatten die verwijzen naar onderliggende pakketten die zijn opgeslagen op lokale bestandssystemen, voert u de volgende extra stappen uit:

1. Upload de onderliggende pakketten naar Azure Files onder hetzelfde Azure Storage-account dat is verbonden met uw projecten en haal het nieuwe UNC-pad (Universal Naming Convention) op, bijvoorbeeld \\YourStorageAccountName.file.core.windows.net\ssdtexecution\YourChildPackage1.dtsx

2. Vervang het bestandspad van deze onderliggende pakketten in het bestand Verbindingsbeheer van Pakkettaken uitvoeren door het nieuwe UNC-pad

   • Als uw lokale computer met SSDT geen toegang heeft tot het nieuwe UNC-pad, kunt u het invoeren in het deelvenster Eigenschappen van bestand Verbindingsbeheer
   • U kunt ook een variabele voor het bestandspad gebruiken om de juiste waarde tijdens runtime toe te wijzen

Als uw pakketten Pakkettaken uitvoeren bevatten die verwijzen naar onderliggende pakketten in hetzelfde project, is er geen extra stap nodig.

Beveiligingsniveau van pakket schakelen

Het uitvoeren van SSIS-pakketten in Azure biedt geen ondersteuning voor de beveiligingsniveaus EncryptSensitiveWithUserKey/EncryptAllWithUserKey. Als uw pakketten daarom zijn geconfigureerd om deze te gebruiken, converteren we ze tijdelijk naar het gebruik van respectievelijk EncryptSensitiveWithPassword/EncryptAllWithPassword-beveiligingsniveaus. We genereren ook willekeurig versleutelingswachtwoorden wanneer we uw pakketten uploaden naar Azure Files voor uitvoeringen op uw Azure-SSIS IR.

Notitie

Als uw pakketten pakkettaken uitvoeren bevatten die verwijzen naar onderliggende pakketten die zijn geconfigureerd voor het gebruik van EncryptSensitiveWithUserKey EncryptAllWithUserKey-beveiligingsniveaus/, moet u deze onderliggende pakketten handmatig opnieuw configureren om respectievelijk EncryptSensitiveWithPassword/EncryptAllWithPassword-beveiligingsniveaus te gebruiken voordat u uw pakketten uitvoert.

Als uw pakketten al zijn geconfigureerd voor het gebruik van EncryptSensitiveWithPassword/EncryptAllWithPassword-beveiligingsniveaus , blijven deze ongewijzigd. We genereren nog steeds willekeurig versleutelingswachtwoorden wanneer we uw pakketten uploaden naar Azure Files voor uitvoeringen op uw Azure-SSIS IR.

Schakelen tussen omgevingen voor pakketuitvoering

Als u uw project/pakketten in projectimplementatiemodel parameteriseert, kunt u meerdere VS-configuraties maken om van pakketuitvoeringsomgeving te wisselen. Op deze manier kunt u omgevingsspecifieke waarden toewijzen aan uw project-/pakketparameters tijdens runtime. We raden u aan ten minste twee verschillende VS-configuraties te hebben voor pakketuitvoeringen in de lokale en cloudomgevingen, zodat u uw projecten kunt inschakelen op basis van de cloudconfiguratie. Hier volgt een stapsgewijs voorbeeld van het schakelen tussen pakketuitvoeringsomgevingen tussen uw lokale computer en Azure:

1. Stel dat uw pakket een bestandssysteemtaak bevat waarmee de kenmerken van een bestand worden ingesteld. Wanneer u deze uitvoert op uw lokale computer, worden de kenmerken van een bestand ingesteld dat is opgeslagen op uw lokale bestandssysteem. Wanneer u deze uitvoert op uw Azure-SSIS IR, moet u de kenmerken instellen van een bestand dat is opgeslagen in Azure Files. Maak eerst een pakketparameter van het tekenreekstype en geef het FilePath een naam om de waarde van het doelbestandspad op te slaan.

   

2. Ga vervolgens naar de pagina Algemeen van het venster Bestandssysteemtaakeditor en parametereer de eigenschap SourceVariable in de sectie Bronverbinding met de parameter FilePath-pakket.

   

3. Standaard hebt u een bestaande VS-configuratie voor pakketuitvoeringen in de lokale omgeving met de naam Development. Maak een nieuwe VS-configuratie voor pakketuitvoeringen in de cloudomgeving met de naam Azure. Zie Een nieuwe VS-configuratie maken als u dit nog niet hebt gedaan.

4. Wanneer u de parameters van uw pakket bekijkt, selecteert u de knop Parameters toevoegen aan configuraties om het venster Parameterwaarden beheren voor uw pakket te openen. Wijs vervolgens verschillende waarden van het doelbestandspad toe aan de filepath-pakketparameter onder de configuraties Ontwikkeling en Azure .

   

5. Schakel uw project in op basis van de cloudconfiguratie. Zie Azure voor het inschakelen van bestaande SSIS-projecten als u dit nog niet hebt gedaan. Configureer vervolgens azure-instellingen om Windows-verificatie in te schakelen voor uw Azure-SSIS IR voor toegang tot Azure Files. Zie Instellingen configureren met Azure als u dit nog niet hebt gedaan.

6. Voer uw pakket uit in Azure. U kunt uw pakketuitvoeringsomgeving terugschakelen naar uw lokale computer door de ontwikkelconfiguratie te selecteren.

   

Pakketconfiguratiebestand gebruiken

Als u pakketconfiguratiebestanden in pakketimplementatiemodel gebruikt, kunt u omgevingsspecifieke waarden toewijzen aan uw pakketeigenschappen tijdens runtime. Deze bestanden worden automatisch met uw pakketten geüpload naar Azure Files voor uitvoeringen op uw Azure-SSIS IR.

Logboeken voor pakketuitvoering controleren

Nadat u de uitvoering van het pakket hebt gestart, worden de logboeken ervan opgemaakt en weergegeven in het venster Voortgang van SSDT. Voor een langlopend pakket werken we de logboeken regelmatig bij met de minuten. U kunt de uitvoering van het pakket onmiddellijk annuleren door de knop Stoppen te selecteren in de SSDT-werkbalk. U kunt de onbewerkte gegevens van de logboeken ook tijdelijk vinden in het volgende UNC-pad: \\<YourStorageAccountName>.file.core.windows.net\ssdtexecution\<YourProjectName-FirstConnectTime>\<YourPackageName-tmp-ExecutionTime>\logs, maar we zullen deze na één dag opschonen.

Huidige beperkingen

• SsdT met Azure ondersteunt alleen commerciële/wereldwijde cloudregio's en biedt momenteel geen ondersteuning voor overheids- of nationale cloudregio's.

Gerelateerde inhoud

Zodra u tevreden bent met het uitvoeren van uw pakketten in Azure vanuit SSDT, kunt u ze implementeren en uitvoeren als SSIS-pakketactiviteiten uitvoeren in ADF-pijplijnen. Zie SSIS-pakketten uitvoeren als SSIS-pakketactiviteiten uitvoeren in ADF-pijplijnen.