Övervaka en integreringskörning i Azure Data Factory
GÄLLER FÖR: Azure Data Factory Azure Synapse Analytics
Dricks
Prova Data Factory i Microsoft Fabric, en allt-i-ett-analyslösning för företag. Microsoft Fabric omfattar allt från dataflytt till datavetenskap, realtidsanalys, business intelligence och rapportering. Lär dig hur du startar en ny utvärderingsversion kostnadsfritt!
Integreringskörning är den beräkningsinfrastruktur som används av Azure Data Factory (ADF) för att tillhandahålla olika funktioner för dataintegrering i olika nätverksmiljöer. Det finns tre typer av integreringskörningar som erbjuds av Data Factory:
- Azure integration runtime
- Lokal Integration Runtime
- Integreringskörning för Azure-SQL Server Integration Services (SSIS)
Kommentar
Vi rekommenderar att du använder Azure Az PowerShell-modulen för att interagera med Azure. Se Installera Azure PowerShell för att komma igång. Information om hur du migrerar till Az PowerShell-modulen finns i artikeln om att migrera Azure PowerShell från AzureRM till Az.
Kör följande PowerShell-kommando för att hämta status för en instans av integration Runtime (IR):
Get-AzDataFactoryV2IntegrationRuntime -DataFactoryName MyDataFactory -ResourceGroupName MyResourceGroup -Name MyAzureIR -Status
Cmdleten returnerar olika information för olika typer av integrationskörningar. I den här artikeln beskrivs egenskaper och statusar för varje typ av integrationskörning.
Azure integration runtime
Beräkningsresursen för en Azure-integrationskörning hanteras elastiskt i Azure. Följande tabell innehåller beskrivningar för egenskaper som returneras av kommandot Get-AzDataFactoryV2IntegrationRuntime :
Egenskaper
Följande tabell innehåller beskrivningar av egenskaper som returneras av cmdleten för en Azure-integreringskörning:
Property | Beskrivning |
---|---|
Name | Namnet på Azure Integration Runtime. |
Tillstånd | Status för Azure Integration Runtime. |
Plats | Plats för Azure Integration Runtime. Mer information om platsen för en Azure-integrationskörning finns i Introduktion till integrationskörning. |
DataFactoryName | Namnet på datafabriken som Azure Integration Runtime tillhör. |
ResourceGroupName | Namnet på den resursgrupp som datafabriken tillhör. |
beskrivning | Beskrivning av integrationskörningen. |
Status
Följande tabell innehåller möjliga statusar för en Azure-integreringskörning:
Status | Kommentarer/scenarier |
---|---|
Online | Azure Integration Runtime är online och redo att användas. |
Offline | Azure Integration Runtime är offline på grund av ett internt fel. |
Lokal Integration Runtime
Det här avsnittet innehåller beskrivningar för egenskaper som returneras av cmdleten Get-AzDataFactoryV2IntegrationRuntime.
Kommentar
De returnerade egenskaperna och statusen innehåller information om övergripande lokalt installerad integrationskörning och varje nod i körningen.
Egenskaper
Följande tabell innehåller beskrivningar av övervakningsegenskaper för varje nod:
Property | Beskrivning |
---|---|
Name | Namnet på den lokalt installerade integrationskörningen och de noder som är associerade med den. Node är en lokal Windows-dator som har den lokalt installerade integrationskörningen installerad. |
Status | Status för den övergripande lokalt installerade integrationskörningen och varje nod. Exempel: Online/Offline/Limited/etc. Mer information om dessa statusar finns i nästa avsnitt. |
Version | Versionen av lokalt installerad integrationskörning och varje nod. Versionen av den lokalt installerade integrationskörningen bestäms baserat på version av de flesta noder i gruppen. Om det finns noder med olika versioner i den lokalt installerade integrationskörningskonfigurationen är det bara noderna med samma versionsnummer som den logiska lokalt installerade integrationskörningsfunktionen korrekt. Andra är i begränsat läge och måste uppdateras manuellt (endast om automatisk uppdatering misslyckas). |
Tillgängligt minne | Tillgängligt minne på en lokalt installerad integrationskörningsnod. Det här värdet är en ögonblicksbild i nästan realtid. |
CPU-användning | CPU-användning av en lokalt installerad integrationskörningsnod. Det här värdet är en ögonblicksbild i nästan realtid. |
Nätverk (in/ut) | Nätverksanvändning för en lokalt installerad integrationskörningsnod. Det här värdet är en ögonblicksbild i nästan realtid. |
Samtidiga jobb (körs/begränsas) | Körs. Antal jobb eller aktiviteter som körs på varje nod. Det här värdet är en ögonblicksbild i nästan realtid. Gräns. Gränsen anger det maximala antalet samtidiga jobb för varje nod. Det här värdet definieras baserat på datorstorleken. Du kan öka gränsen för att skala upp samtidig jobbkörning i avancerade scenarier, när aktiviteterna överskrids även när PROCESSOR, minne eller nätverk är underutnyttjat. Den här funktionen är också tillgänglig med en integrationskörning med en nod med egen värd. |
Roll | Det finns två typer av roller i en integrationskörning med flera noder – dispatcher och worker. Alla noder är arbetare, vilket innebär att alla kan användas för att köra jobb. Det finns bara en dispatcher-nod som används för att hämta uppgifter/jobb från molntjänster och skicka dem till olika arbetsnoder. Dispatcher-noden är också en arbetsnod. |
Vissa inställningar för egenskaperna är mer meningsfulla när det finns två eller flera noder i den lokalt installerade integrationskörningen (dvs. i ett utskalningsscenario).
Gräns för samtidiga jobb
Standardvärdet för gränsen för samtidiga jobb anges baserat på datorstorleken. De faktorer som används för att beräkna det här värdet beror på mängden RAM-minne och antalet processorkärnor på datorn. Ju fler kärnor och mer minne, desto högre standardgräns för samtidiga jobb.
Du skalar ut genom att öka antalet noder. När du ökar antalet noder är gränsen för samtidiga jobb summan av de samtidiga jobbgränsvärdena för alla tillgängliga noder. Om du till exempel kan köra högst tolv samtidiga jobb med en nod kan du lägga till ytterligare tre liknande noder så att du kan köra högst 48 samtidiga jobb (det vill säga 4 x 12). Vi rekommenderar att du bara ökar gränsen för samtidiga jobb när du ser låg resursanvändning med standardvärdena på varje nod.
Du kan åsidosätta det beräknade standardvärdet i Azure Portal. Välj Redigera > anslutningar > Integration Runtimes > Redigera > noder > Ändra värdet för samtidiga jobb per nod. Du kan också använda kommandot PowerShell update-Azdatafactoryv2integrationruntimenode .
Status (per nod)
Följande tabell innehåller möjliga statusar för en lokalt installerad integrationskörningsnod:
Status | beskrivning |
---|---|
Online | Node är ansluten till Data Factory-tjänsten. |
Offline | Noden är offline. |
Uppgradering | Noden uppdateras automatiskt. |
Begränsad | På grund av ett anslutningsproblem. Kan bero på http-port 8060-problem, service bus-anslutningsproblem eller problem med synkronisering av autentiseringsuppgifter. |
Inaktiv | Noden är i en konfiguration som skiljer sig från konfigurationen av andra majoritetsnoder. |
En nod kan vara inaktiv när den inte kan ansluta till andra noder.
Status (övergripande lokalt installerad integrationskörning)
Följande tabell innehåller möjliga statusar för en lokalt installerad integrationskörning. Den här statusen beror på status för alla noder som tillhör körningen.
Status | beskrivning |
---|---|
Behöver registrering | Ingen nod har registrerats för den här lokalt installerade integrationskörningen ännu. |
Online | Alla noder är online. |
Offline | Ingen nod är online. |
Begränsad | Alla noder i den här lokalt installerade integrationskörningen är inte i ett felfritt tillstånd. Den här statusen är en varning om att vissa noder kan vara nere. Den här statusen kan bero på ett problem med synkronisering av autentiseringsuppgifter på dispatcher/worker-noden. |
Använd cmdleten Get-AzDataFactoryV2IntegrationRuntimeMetric för att hämta JSON-nyttolasten som innehåller de detaljerade integrationskörningsegenskaperna för lokalt installerad integrering och deras ögonblicksbildvärden under tidpunkten för körningen av cmdleten.
Get-AzDataFactoryV2IntegrationRuntimeMetric -name $integrationRuntimeName -ResourceGroupName $resourceGroupName -DataFactoryName $dataFactoryName | ConvertTo-Json
Exempelutdata (förutsätter att det finns två noder som är associerade med den här lokalt installerade integrationskörningen):
{
"IntegrationRuntimeName": "<Name of your integration runtime>",
"ResourceGroupName": "<Resource Group Name>",
"DataFactoryName": "<Data Factory Name>",
"Nodes": [
{
"NodeName": "<Node Name>",
"AvailableMemoryInMB": <Value>,
"CpuUtilization": <Value>,
"ConcurrentJobsLimit": <Value>,
"ConcurrentJobsRunning": <Value>,
"MaxConcurrentJobs": <Value>,
"SentBytes": <Value>,
"ReceivedBytes": <Value>
},
{
"NodeName": "<Node Name>",
"AvailableMemoryInMB": <Value>,
"CpuUtilization": <Value>,
"ConcurrentJobsLimit": <Value>,
"ConcurrentJobsRunning": <Value>,
"MaxConcurrentJobs": <Value>,
"SentBytes": <Value>,
"ReceivedBytes": <Value>
}
]
}
Azure-SSIS Integration Runtime
Azure-SSIS IR är ett fullständigt hanterat kluster med virtuella Azure-datorer (VM eller noder) som är dedikerade för att köra dina SSIS-paket. Du kan anropa SSIS-paketkörningar på Azure-SSIS IR med hjälp av olika metoder, till exempel via Azure-aktiverade SQL Server Data Tools (SSDT), AzureDTExec-kommandoradsverktyg, T-SQL på SQL Server Management Studio (SSMS)/SQL Server Agent och Köra SSIS-paketaktiviteter i ADF-pipelines. Azure-SSIS IR kör inga andra ADF-aktiviteter. När du har etablerat kan du övervaka dess övergripande/nodspecifika egenskaper och statusar via Azure PowerShell, Azure Portal och Azure Monitor.
Övervaka Azure-SSIS-integreringskörningen med Azure PowerShell
Använd följande Azure PowerShell-cmdlet för att övervaka övergripande/nodspecifika egenskaper och statusar för Azure-SSIS IR.
Get-AzDataFactoryV2IntegrationRuntime -DataFactoryName $DataFactoryName -Name $AzureSSISName -ResourceGroupName $ResourceGroupName -Status
Egenskaper
Följande tabell innehåller beskrivningar av egenskaper som returneras av ovanstående cmdlet för en Azure-SSIS IR.
Egenskap/status | beskrivning |
---|---|
CreateTime | UTC-tiden då din Azure-SSIS IR skapades. |
Noder | De allokerade/tillgängliga noderna i din Azure-SSIS IR med nodspecifika statusar (start/tillgänglig/återvinning/otillgänglig) och åtgärdsbara fel. |
OtherErrors | De icke-nodspecifika åtgärdsfelen på din Azure-SSIS IR. |
LastOperation | Resultatet av den senaste start-/stoppåtgärden på din Azure-SSIS IR med åtgärdsbara fel om den misslyckades. |
Tillstånd | Den övergripande statusen (initial/starting/started/stop/stopped) för din Azure-SSIS IR. |
Plats | Platsen för din Azure-SSIS IR. |
NodeSize | Storleken på varje nod i din Azure-SSIS IR. |
NodeCount | Antalet noder i din Azure-SSIS IR. |
MaxParallelExecutionsPerNode | Det maximala antalet parallella körningar per nod i Azure-SSIS IR. |
CatalogServerEndpoint | Slutpunkten för din befintliga Azure SQL Database-server eller hanterade instans som är värd för SSIS-katalogen (SSISDB). |
CatalogAdminUserName | Administratörsanvändarnamnet för din befintliga Azure SQL Database-server eller hanterade instans. ADF använder den här informationen för att förbereda och hantera SSISDB åt dig. |
CatalogAdminPassword | Administratörslösenordet för din befintliga Azure SQL Database-server eller hanterade instans. |
CatalogPricingTier | Prisnivån för SSISDB som hanteras av Azure SQL Database-servern. Gäller inte för Azure SQL Managed Instance som är värd för SSISDB. |
VNetId | Resurs-ID för virtuellt nätverk som din Azure-SSIS IR ska ansluta till. |
Undernät | Undernätsnamnet för din Azure-SSIS IR som ska anslutas. |
ID | Resurs-ID för din Azure-SSIS IR. |
Typ | IR-typen (hanterad/lokalt installerad) för din Azure-SSIS IR. |
ResourceGroupName | Namnet på din Azure-resursgrupp, där din ADF och Azure-SSIS IR skapades. |
DataFactoryName | Namnet på din ADF. |
Name | Namnet på din Azure-SSIS IR. |
beskrivning | Beskrivningen av din Azure-SSIS IR. |
Status (per Azure-SSIS IR-nod)
Följande tabell innehåller möjliga statusar för en Azure-SSIS IR-nod:
Nodspecifik status | beskrivning |
---|---|
Startar | Den här noden förbereds. |
Tillgängligt | Den här noden är redo att distribuera/köra SSIS-paket. |
Återvinning | Den här noden repareras/startas om. |
Inte tillgänglig | Den här noden är inte redo att distribuera/köra SSIS-paket och har åtgärdsbara fel/problem som du kan lösa. |
Status (övergripande Azure-SSIS IR)
Följande tabell innehåller möjliga övergripande statusar för en Azure-SSIS IR. Den övergripande statusen beror i sin tur på de kombinerade statusarna för alla noder som tillhör Azure-SSIS IR.
Övergripande status | beskrivning |
---|---|
Initial | Noderna i din Azure-SSIS IR har inte allokerats/förberetts. |
Startar | Noderna i din Azure-SSIS IR allokeras/förbereds och faktureringen har startats. |
Börjat | Noderna i din Azure-SSIS IR har allokerats/förberetts och de är redo att distribuera/köra SSIS-paket. |
Stoppas | Noderna i din Azure-SSIS IR släpps. |
Stoppat | Noderna i din Azure-SSIS IR har släppts och faktureringen har stoppats. |
Övervaka Azure-SSIS-integreringskörningen i Azure Portal
Om du vill övervaka din Azure-SSIS IR i Azure Portal går du till sidan Integreringskörningar i Monitor Hub i ADF-användargränssnittet, där du kan se alla dina integreringskörningar.
Välj sedan namnet på din Azure-SSIS IR för att öppna övervakningssidan, där du kan se dess övergripande/nodspecifika egenskaper och statusar. På den här sidan hittar du olika informations-/funktionella paneler, beroende på hur du konfigurerar allmänna inställningar, distribution och avancerade inställningar för din Azure-SSIS IR.
Informationspanelerna TYPE och REGION visar typen och regionen för din Azure-SSIS IR.
Informationspanelen FÖR NODSTORLEK visar SKU (SSIS edition_VM tier_VM-serien), antalet CPU-kärnor och storleken på RAM-minne per nod för din Azure-SSIS IR.
Informationspanelen RUNNING/REQUESTED NODE(S) jämför antalet noder som för närvarande körs med det totala antalet noder som tidigare begärdes för din Azure-SSIS IR.
Informationspanelen DUAL STANDBY PAIR/ROLE visar namnet på ditt azure-SSIS IR-par med dubbla väntelägen som fungerar synkroniserat med Redundansgruppen för Azure SQL Managed Instance för affärskontinuitet och haveriberedskap (BCDR) och den aktuella primära/sekundära rollen för din Azure-SSIS IR. När SSISDB redundansväxling inträffar byter dina primära och sekundära Azure-SSIS IR-roller (se Konfigurera din Azure-SSIS IR för BCDR).
De funktionella panelerna beskrivs i mer information nedan.
STATUS-panel
På statuspanelen på din Azure-SSIS IR-övervakningssida kan du se dess övergripande status, till exempel Körning eller Stoppad. När du väljer Status för körning visas ett fönster med live-stoppknappen för att stoppa din Azure-SSIS IR. När du väljer Stoppad status visas ett fönster med live-startknappen för att starta din Azure-SSIS IR. Popup-fönstret har också knappen Kör SSIS-paket för att automatiskt generera en ADF-pipeline med aktiviteten Execute SSIS Package (Kör SSIS-paket) som körs på din Azure-SSIS IR (se Köra SSIS-paket som Köra SSIS-paketaktiviteter i ADF-pipelines) och en textruta för resurs-ID som du kan kopiera resurs-ID för Azure-SSIS IR (/subscriptions/YourAzureSubscription/resourcegroups/YourResourceGroup/providers/Microsoft.DataFactory/factories/YourADF/integrationruntimes/YourAzureSSISIR
). Suffixet för ditt Azure-SSIS IR-resurs-ID som innehåller dina ADF- och Azure-SSIS IR-namn utgör ett kluster-ID som kan användas för att köpa ytterligare premium-/licensierade SSIS-komponenter från oberoende programvaruleverantörer (ISV:er) och binda dem till din Azure-SSIS IR (se Installera premium-/licensierade komponenter på din Azure-SSIS IR).
SSISDB SERVER ENDPOINT-panel
Om du använder Project Deployment Model där paket lagras i SSISDB som hanteras av din Azure SQL Database-server eller hanterade instans visas panelen SSISDB SERVER ENDPOINT på din Azure-SSIS IR-övervakningssida (se Konfigurera dina Azure-SSIS IR-distributionsinställningar). På den här panelen kan du välja en länk som anger din Azure SQL Database-server eller hanterade instans för att öppna ett fönster, där du kan kopiera serverslutpunkten från en textruta och använda den när du ansluter från SSMS för att distribuera, konfigurera, köra och hantera dina paket. I popup-fönstret kan du också välja länken Se inställningar för Azure SQL Database eller hanterade instanser för att konfigurera om/ändra storlek på din SSISDB i Azure Portal.
PROXY-/MELLANLAGRINGspanel
Om du laddar ned, installerar och konfigurerar lokalt installerad IR (SHIR) som proxy för din Azure-SSIS IR för att få åtkomst till data lokalt visas panelen PROXY/MELLANLAGRING på din Azure-SSIS IR-övervakningssida (se Konfigurera SHIR som proxy för din Azure-SSIS IR). På den här panelen kan du välja en länk som anger din SHIR för att öppna dess övervakningssida. Du kan också välja en annan länk som anger din Azure Blob Storage för mellanlagring för att konfigurera om den länkade tjänsten.
VERIFIERA VNET/UNDERNÄT-panel
Om du ansluter din Azure-SSIS IR till ett virtuellt nätverk visas panelen VALIDERA VNET/UNDERNÄT på din Azure-SSIS IR-övervakningssida (se Ansluta din Azure-SSIS IR till ett virtuellt nätverk). På den här panelen kan du välja en länk som anger ditt virtuella nätverk och undernät för att öppna ett fönster, där du kan kopiera ditt VNet-resurs-ID (/subscriptions/YourAzureSubscription/resourceGroups/YourResourceGroup/providers/Microsoft.Network/virtualNetworks/YourARMVNet
) och undernätsnamn från textrutor, samt verifiera dina VNet- och undernätskonfigurationer för att säkerställa att nödvändig inkommande/utgående nätverkstrafik och hantering av din Azure-SSIS IR inte hindras.
PANELEN DIAGNOSTISERA ANSLUTNING
På panelen DIAGNOSE CONNECTIVITY på din Azure-SSIS IR-övervakningssida kan du välja länken Testa anslutning för att öppna ett fönster, där du kan kontrollera anslutningarna mellan din Azure-SSIS IR och relevanta paket-/konfigurations-/datalager samt hanteringstjänster via deras fullständigt kvalificerade domännamn (FQDN)/IP-adress och angiven port (se Testa anslutningar från din Azure-SSIS IR).
Panelen STATISKA OFFENTLIGA IP-ADRESSER
Om du tar med dina egna statiska offentliga IP-adresser för Azure-SSIS IR visas panelen STATISKA OFFENTLIGA IP-ADRESSER på din Azure-SSIS IR-övervakningssida (se Bring your own static public IP addresses for Azure-SSIS IR). På den här panelen kan du välja länkar som anger dina första/andra statiska offentliga IP-adresser för Azure-SSIS IR för att öppna ett fönster, där du kan kopiera deras resurs-ID (/subscriptions/YourAzureSubscription/resourceGroups/YourResourceGroup/providers/Microsoft.Network/publicIPAddresses/YourPublicIPAddress
) från en textruta. I popup-fönstret kan du också välja länken Se din första/andra statiska offentliga IP-adressinställningar för att hantera din första/andra statiska offentliga IP-adress i Azure Portal.
PANELEN PAKETLAGER
Om du använder paketdistributionsmodellen där paket lagras i filsystem/Azure Files/SQL Server-databas (MSDB) som hanteras av din Azure SQL Managed Instance och hanteras via Azure-SSIS IR-paketarkiv, visas panelen PAKETARKIV på din Azure-SSIS IR-övervakningssida (se Konfigurera dina Azure-SSIS IR-distributionsinställningar). På den här panelen kan du välja en länk som anger hur många paketlager som är kopplade till din Azure-SSIS IR för att öppna ett fönster, där du kan konfigurera om relevanta länkade tjänster för dina Azure-SSIS IR-paketlager ovanpå filsystemet/Azure Files/MSDB som hanteras av din Azure SQL Managed Instance.
ERROR(S)-panel
Om det finns problem med start/stopp/underhåll/uppgradering av din Azure-SSIS IR visas ytterligare en ERROR(S) -panel på din Azure-SSIS IR-övervakningssida. På den här panelen kan du välja en länk som anger antalet fel som genereras av din Azure-SSIS IR för att öppna ett fönster, där du kan se dessa fel i mer information och kopiera dem för att hitta de rekommenderade lösningarna i vår felsökningsguide (se Felsöka din Azure-SSIS IR).
Övervaka Azure-SSIS-integreringskörningen med Azure Monitor
Information om hur du övervakar din Azure-SSIS IR med Azure Monitor finns i Övervaka SSIS-åtgärder med Azure Monitor.
Mer information om Azure-SSIS-integreringskörningen
Läs följande artiklar om du vill veta mer om Azure-SSIS-integreringskörning:
- Azure-SSIS Integration Runtime. Den här artikeln innehåller konceptuell information om integreringskörningar i allmänhet, inklusive Azure-SSIS IR.
- Självstudie: distribuera SSIS-paket till Azure. Den här artikeln innehåller stegvisa instruktioner för att skapa din Azure-SSIS IR och använda Azure SQL Database som värd för SSIS-katalogen (SSISDB).
- Så här skapar du en Azure-SSIS Integration Runtime. Den här artikeln går vidare med självstudien och innehåller instruktioner om hur du använder Azure SQL Managed Instance som värd för SSISDB.
- Hantera en Azure-SSIS IR. Den här artikeln visar hur du startar, stoppar eller tar bort din Azure-SSIS IR. Den visar också hur du skalar ut den genom att lägga till fler noder.
- Anslut Azure-SSIS IR till ett virtuellt nätverk. Den här artikeln innehåller anvisningar om hur du ansluter din Azure-SSIS IR till ett virtuellt nätverk.
Relaterat innehåll
Se följande artiklar för att övervaka pipelines på olika sätt: