在 Azure Data Factory 中監視整合執行階段
適用於:Azure Data Factory Azure Synapse Analytics
提示
試用 Microsoft Fabric 中的 Data Factory,這是適用於企業的全方位分析解決方案。 Microsoft Fabric 涵蓋從資料移動到資料科學、即時分析、商業智慧和報告的所有項目。 了解如何免費開始新的試用!
整合執行階段是 Azure Data Factory (ADF) 所使用的計算基礎結構,可提供跨不同網路環境的各種資料整合功能。 Data Factory 提供三種類型的整合執行階段:
- Azure 整合執行階段
- 自我裝載整合執行階段
- Azure-SQL Server Integration Services (SSIS) 整合執行階段
注意
建議您使用 Azure Az PowerShell 模組來與 Azure 互動。 若要開始使用,請參閱安裝 Azure PowerShell (部分機器翻譯)。 若要了解如何移轉至 Az PowerShell 模組,請參閱將 Azure PowerShell 從 AzureRM 移轉至 Az。
若要取得整合執行階段 (IR) 的執行個體狀態,請執行下列 PowerShell 命令:
Get-AzDataFactoryV2IntegrationRuntime -DataFactoryName MyDataFactory -ResourceGroupName MyResourceGroup -Name MyAzureIR -Status
Cmdlet 會為不同類型的整合執行階段傳回不同的資訊。 本文說明每一種整合執行階段類型的屬性和狀態。
Azure 整合執行階段
可在 Azure 中完整且靈活地管理 Azure 整合執行階段的計算資源。 下表提供 Get-AzDataFactoryV2IntegrationRuntime 命令所傳回之屬性的描述:
屬性
下表提供 Azure 整合執行階段的 Cmdlet 所傳回的屬性說明:
屬性 | 描述 |
---|---|
Name | Azure 整合執行階段的名稱。 |
州/省 | Azure 整合執行階段的狀態。 |
Location | Azure 整合執行階段的位置。 如需 Azure 整合執行階段的位置詳細資訊,請參閱整合執行階段簡介。 |
DataFactoryName | Azure 整合執行階段所屬的資料處理站名稱。 |
resourceGroupName | 資料處理站所屬的資源群組名稱。 |
描述 | 整合執行階段的說明。 |
狀態
下表提供 Azure 整合執行階段的可能狀態:
狀態 | 註解/案例 |
---|---|
線上存取 | Azure 整合執行階段在線上且可供使用。 |
離線 | Azure 整合執行階段因內部錯誤而離線。 |
自我裝載整合執行階段
本節提供 Get-AzDataFactoryV2IntegrationRuntime Cmdlet 所傳回之屬性的描述。
注意
傳回的屬性和狀態包含整體的自我裝載整合執行階段,和執行階段中每個節點的相關資訊。
屬性
下表提供每個節點的監視屬性說明:
屬性 | 描述 |
---|---|
Name | 自我裝載整合執行階段及其關聯之節點的名稱。 節點是安裝了自我裝載整合執行階段的內部部署 Windows 電腦。 |
狀態 | 整體自我裝載整合執行階段與每個節點的狀態。 範例:線上/離線/受限制/等等。如需這些狀態的相關資訊,請參閱下一節。 |
版本 | 自我裝載整合執行階段與每個節點的版本。 自我裝載整合執行階段的版本取決於群組中大多數節點的版本。 如果自我裝載整合執行階段設定中有不同版本的節點,則只有版本號碼和邏輯自我裝載整合執行階段的節點會正常運作。 其他節點會進入受限制模式,並需要加以手動更新 (如果自動更新失敗才需要這麼做)。 |
可用的記憶體 | 自我裝載整合執行階段節點上的可用記憶體。 這個值是近乎即時的快照集。 |
CPU 使用率 | 自我裝載整合執行階段節點的 CPU 使用率。 這個值是近乎即時的快照集。 |
網路功能 (輸入/輸出) | 自我裝載整合執行階段節點的網路使用率。 這個值是近乎即時的快照集。 |
並行作業 (執行中/限制) | 正在執行。 每個節點上執行的作業或工作數目。 這個值是近乎即時的快照集。 Limit。 限制表示每個節點的最大並行作業數。 這個值會根據機器大小來定義。 您可以提高限制以在進階案例 (即便 CPU、記憶體或網路並未充分使用,而活動照樣會逾時的案例) 中擴大並行作業執行能力。 這項功能也可與單一節點的自我裝載整合執行階段搭配使用。 |
角色 | 多節點的自我裝載整合執行階段中的角色有兩種 – 發送器和背景工作角色。 所有節點都是背景工作角色,這表示它們全都能用來執行作業。 發送器節點只有一個,可用來提取雲端服務中的工作/作業,並發送到不同的背景工作節點。 發送器節點也是背景工作角色節點。 |
當自我裝載整合執行階段中有兩個或多個節點 (也就是擴增的案例) 時,屬性的某些設定會比較合理。
並行作業數限制
並行作業數限制的預設值取決於機器大小。 用來計算此值的因素取決於 RAM 的數量和機器的 CPU 核心數目。 因此,核心和記憶體越多時,並行作業數預設限制就越大。
您可以增加節點數目來擴增。 當您增加節點數目時,並行作業數限制是所有可用的節點的並行作業數限制值的總和。 例如,有一個節點可讓您執行最多十二個並行作業,然後再新增三個類似的節點之後,您能執行的並行作業數最多為 48 個 (也就是 4 x 12)。 我們建議您只有在看到每個節點上的預設值會造成資源使用率偏低的狀況時,才增加並行作業數限制。
您可以覆寫 Azure 入口網站中計算得出的預設值。 依序選取 [作者] > [連線] > [整合執行階段] > [編輯] > [節點] > [修改每個節點的並行作業值]。 您也可以使用 PowerShell update-Azdatafactoryv2integrationruntimenode 命令。
狀態 (每個節點)
下表提供自我裝載整合執行階段節點的可能狀態:
狀態 | 描述 |
---|---|
線上存取 | 節點已連線至 Data Factory 服務。 |
離線 | 節點已離線。 |
正在升級 | 節點正在自動更新。 |
受限 | 由於連線能力問題。 可能是因為 HTTP 連接埠 8060 問題、服務匯流排連線問題或認證同步問題。 |
非作用中 | 節點所在的組態不同於其他大多數節點的組態。 |
節點無法連線至其他節點時,便會處於非使用中狀態。
狀態 (整體自我裝載整合執行階段)
下表提供自我裝載整合執行階段的可能狀態。 此狀態取決於隸屬於執行階段的所有節點狀態。
狀態 | 描述 |
---|---|
需要註冊 | 尚未針對此自我裝載整合執行階段註冊節點。 |
線上存取 | 所有節點已連線。 |
離線 | 沒有節點在線上。 |
受限 | 在此自我裝載整合執行階段中,並非所有節點皆處於健康狀態。 這個狀態是某些節點可能會關閉的警告。 此狀態可能是發送器/背景工作角色節點的認證同步問題所引起。 |
使用 Get-AzDataFactoryV2IntegrationRuntimeMetric Cmdlet 來擷取包含詳細的自我裝載整合執行階段屬性的 JSON 裝載,及其在執行 Cmdlet 期間的快照集值。
Get-AzDataFactoryV2IntegrationRuntimeMetric -name $integrationRuntimeName -ResourceGroupName $resourceGroupName -DataFactoryName $dataFactoryName | ConvertTo-Json
輸出範例 (假設此自我裝載整合執行階段有兩個相關節點):
{
"IntegrationRuntimeName": "<Name of your integration runtime>",
"ResourceGroupName": "<Resource Group Name>",
"DataFactoryName": "<Data Factory Name>",
"Nodes": [
{
"NodeName": "<Node Name>",
"AvailableMemoryInMB": <Value>,
"CpuUtilization": <Value>,
"ConcurrentJobsLimit": <Value>,
"ConcurrentJobsRunning": <Value>,
"MaxConcurrentJobs": <Value>,
"SentBytes": <Value>,
"ReceivedBytes": <Value>
},
{
"NodeName": "<Node Name>",
"AvailableMemoryInMB": <Value>,
"CpuUtilization": <Value>,
"ConcurrentJobsLimit": <Value>,
"ConcurrentJobsRunning": <Value>,
"MaxConcurrentJobs": <Value>,
"SentBytes": <Value>,
"ReceivedBytes": <Value>
}
]
}
Azure-SSIS 整合執行階段
Azure SSIS IR 是完全受控的 Azure 虛擬機器 (VM 或節點) 叢集,專門用來執行 SSIS 套件。 您可以使用多種方法在 Azure-SSIS IR 上叫用 SSIS 套件執行,例如,透過已啟用 Azure 的 SQL Server Data Tools (SSDT)、AzureDTExec 命令列公用程式、SQL Server Management Studio (SSMS)/SQL Server Agent 上的 T-SQL,和 ADF 管線中的執行 SSIS 套件活動。 Azure-SSIS IR 不會執行任何其他 ADF 活動。 佈建之後,您可以透過 Azure PowerShell、Azure 入口網站和 Azure 監視器來監視其整體/節點特定的屬性和狀態。
使用 PowerShell 監視 Azure-SSIS 整合執行階段
使用下列 Azure PowerShell Cmdlet,監視 Azure-SSIS IR 的整體/節點特定屬性和狀態。
Get-AzDataFactoryV2IntegrationRuntime -DataFactoryName $DataFactoryName -Name $AzureSSISName -ResourceGroupName $ResourceGroupName -Status
屬性
下表提供上方的 Cmdlet 針對 Azure-SSIS IR 傳回之屬性的說明。
屬性/狀態 | 描述 |
---|---|
CreateTime | 您的 Azure-SSIS IR 建立時的 UTC 時間。 |
節點 | 含特定節點狀態 (啟動中/可用/回收/無法使用中) 的 Azure-SSIS IR 的配置/可用節點,及可採取動作的錯誤。 |
OtherErrors | 您的 Azure-SSIS IR 上非特定節點之可採取動作的錯誤。 |
LastOperation | Azure-SSIS IR 上最後一個啟動/停止作業的結果,含在失敗時可採取動作的錯誤。 |
州/省 | 您的 Azure-SSIS IR 的整體狀態 (初始/啟動中/已啟動/停止中/已停止)。 |
Location | Azure-SSIS IR 的位置。 |
NodeSize | Azure-SSIS IR 中每個節點的大小。 |
NodeCount | Azure-SSIS IR 中的節點數目。 |
MaxParallelExecutionsPerNode | Azure-SSIS IR 中每個節點的平行執行數目上限。 |
CatalogServerEndpoint | 用來裝載 SSIS 目錄 (SSISDB) 的現有 Azure SQL Database 伺服器或受控執行個體的端點。 |
CatalogAdminUserName | 現有 Azure SQL Database 伺服器或受控執行個體的管理員使用者名稱。 ADF 會使用此資訊代表您準備及管理 SSISDB。 |
CatalogAdminPassword | 現有 Azure SQL Database 伺服器或受控執行個體的管理員密碼。 |
CatalogPricingTier | 現有 Azure SQL Database 伺服器所裝載之 SSISDB 的定價層。 不適用於 Azure SQL 受控執行個體裝載 SSISDB。 |
VNetId | Azure-SSIS IR 要加入的虛擬網路資源識別碼。 |
子網路 | Azure-SSIS IR 要加入的子網路名稱。 |
識別碼 | Azure-SSIS IR 的資源識別碼。 |
類型 | Azure-SSIS IR 的 IR 類型 (受控/自我裝載)。 |
resourceGroupName | 您的 ADF 和 Azure-SSIS IR 建立所在之 Azure 資源群組的名稱。 |
DataFactoryName | ADF 的名稱。 |
名稱 | Azure-SSIS IR 的名稱。 |
描述 | Azure-SSIS IR 的描述。 |
狀態 (每個 Azure-SSIS IR 節點)
下表提供 Azure-SSIS IR 節點的可能狀態:
節點特定狀態 | 描述 |
---|---|
啟動中 | 正在準備此節點。 |
可用的 | 此節點已準備好部署/執行 SSIS 套件。 |
回收 | 此節點正在修復/重新啟動。 |
[無法使用] | 此節點未準備好部署/執行 SSIS 套件,而且具有可採取動作解決的錯誤/問題。 |
狀態 (整體 Azure-SSIS IR)
下表提供 Azure-SSIS IR 可能的整體狀態。 整體狀態隨後將取決於屬於 Azure-SSIS IR 之所有節點的合併狀態。
整體狀態 | 描述 |
---|---|
Initial | Azure-SSIS IR 的節點尚未配置/備妥。 |
啟動中 | Azure-SSIS IR 的節點正在配置/備妥,且已開始計費。 |
已開始 | Azure-SSIS IR 的節點已配置/備妥,且已可供部署/執行 SSIS 套件。 |
正在停止 | Azure-SSIS IR 的節點正在釋出。 |
已停止 | Azure-SSIS IR 的節點已釋出並停止計費。 |
在 Azure 入口網站中監視 Azure-SSIS 整合執行階段
若要在 Azure 入口網站中監視您的 Azure-SSIS IR,請在 ADF UI 上移至 [監視] 中樞的 [整合執行階段] 頁面,您可以在此處查看所有整合執行階段。
接著,選取您的 Azure-SSIS IR 名稱以開啟其監視頁面,您可以在此處查看其整體/節點特定的屬性和狀態。 在此頁面上,根據您對 Azure-SSIS IR 的一般、部署和進階設定所做的設定,您會看到不同的資訊/功能圖格。
[類型] 和 [區域] 資訊圖格分別顯示 Azure-SSIS IR 的類型和區域。
[節點大小] 資訊圖格會顯示 SKU (SSIS edition_VM tier_VM 系列)、CPU 核心數目,以及您的 Azure-SSIS IR 每個節點的 RAM 大小。
[執行中/已要求的節點] 資訊圖格會比較目前執行中的節點數目與先前針對 Azure-SSIS IR 要求的節點總數。
[雙重待命配對/角色] 資訊圖格會顯示與商務持續性和災害復原 (BCDR) 的 Azure SQL 受控執行個體容錯移轉群組以及 Azure-SSIS IR 目前的主要/次要角色同步運作的雙重待命 Azure-SSIS IR 配對的名稱。 SSISDB 容錯移轉發生時,您的主要和次要 Azure-SSIS IR 將會交換角色 (請參閱設定 BCDR 的 Azure-SSIS IR)。
以下將進一步詳細說明功能圖格。
狀態圖格
在 Azure-SSIS IR 監視頁面的 [狀態] 圖格上,您可以看到其整體狀態,例如[執行中] 或 [已停止]。 選取 [執行中] 狀態會出現一個快顯視窗,內含用來停止 Azure-SSIS IR 的即時 [停止] 按鈕。 選取 [已停止] 狀態會出現一個快顯視窗,內含用來啟動 Azure-SSIS IR 的即時 [啟動] 按鈕。 快顯視窗中也有 [執行 SSIS 套件] 按鈕,可自動產生 ADF 管線,內含「執行 SSIS 套件活動」可在您的 Azure-SSIS IR 上執行 (請參閱在 ADF 管線中以執行 SSIS 套件活動的形式執行 SSIS 套件),此外還有 [資源識別碼] 文字方塊,可供您從中複製 Azure-SSIS IR 資源識別碼 (/subscriptions/YourAzureSubscription/resourcegroups/YourResourceGroup/providers/Microsoft.DataFactory/factories/YourADF/integrationruntimes/YourAzureSSISIR
)。 包含 ADF 和 Azure-SSIS IR 名稱的 Azure-SSIS IR 資源識別碼的尾碼會形成叢集識別碼,可用來向獨立軟體廠商 (ISV) 購買額外的進階/授權 SSIS 元件,並將其繫結至您的 Azure-SSIS IR (請參閱在您的 Azure-SSIS IR 上安裝進階/授權元件)。
SSISDB 伺服器端點圖格
如果您使用專案部署模型,且套件儲存在 Azure SQL Database 伺服器或受控執行個體所裝載的 SSISDB 中,則您會在 Azure-SSIS IR 監視頁面上看到 [SSISDB 伺服器端點] 圖格,(請參閱設定 Azure-SSIS IR 部署設定)。 在此圖格上,您可以選取一個連結,以指定由 Azure SQL Database 伺服器或受控執行個體來快顯視窗,供您從文字方塊中複製伺服器端點,並在從 SSMS 連線時將其用來部署、設定、執行及管理套件。 在快顯視窗中,您也可以選取 [查看您的 Azure SQL Database 或受控執行個體設定] 連結,以在 Azure 入口網站中重新設定 SSISDB 或調整其大小。
Proxy/暫存圖格
如果您下載、安裝及設定自我裝載 IR (SHIR) 作為 Proxy,以便 Azure-SSIS IR 存取內部部署資料,則您會在 Azure-SSIS IR 監視頁面上看到 [Proxy/暫存圖格] 圖格,(請參閱將 SHIR 設定為 Azure-SSIS IR 的 Proxy)。 在此圖格上,您可以選取連結,指定由 SHIR 開啟其監視頁面。 您也可以選取另一個連結,指定以暫存的 Azure Blob 儲存體重新設定其連結服務。
驗證 VNet/子網路圖格
如果您將 Azure-SSIS IR 加入 VNet,您會在 Azure-SSIS IR 監視頁面上看到 [驗證 VNet/子網路] 圖格,(請參閱將 Azure-SSIS IR 加入 VNet)。 在此圖格上,您可以選取一個連結,指定由 VNet 和子網路來快顯視窗,以便您從其中的文字方塊複製 VNet 資源識別碼 (/subscriptions/YourAzureSubscription/resourceGroups/YourResourceGroup/providers/Microsoft.Network/virtualNetworks/YourARMVNet
) 和子網路名稱,以及驗證您的 VNet 和子網路設定,以確保 Azure-SSIS IR 所需的輸入/輸出網路流量和管理不會受到阻礙。
診斷連線圖格
在 Azure-SSIS IR 監視頁面的 [診斷連線] 圖格上,您可以選取 [測試連線] 連結以快顯視窗,在此處您可以透過其完整網域名稱 (FQDN)/IP 位址和指定的連接埠,檢查 Azure-SSIS IR 與相關套件/設定/資料存放區以及管理服務之間的連線 (請參閱從您的 Azure-SSIS IR 測試連線)。
靜態公用 IP 位址圖格
如果您為 Azure-SSIS IR 自備了靜態公用 IP 位址,您會在 Azure-SSIS IR 監視頁面上看到 [靜態公用 IP 位址] 圖格,(請參閱為 Azure-SSIS IR 自備靜態公用 IP 位址)。 在此圖格上,您可以選取連結,指定由 Azure-SSIS IR 的第一個/第二個靜態公用 IP 位址來快顯視窗,以便您從其中的文字方塊複製其資源識別碼 (/subscriptions/YourAzureSubscription/resourceGroups/YourResourceGroup/providers/Microsoft.Network/publicIPAddresses/YourPublicIPAddress
)。 在快顯視窗中,您也可以選取 [查看您的第一/第二個靜態公用 IP 位址設定] 連結,以在 Azure 入口網站中管理您的第一個/第二個靜態公用 IP 位址。
套件存放區圖格
如果您使用套件部署模型,並將套件儲存在 Azure SQL 受控執行個體所裝載的檔案系統/Azure 檔案儲存體/SQL Server 資料庫 (MSDB) 中,且透過 Azure-SSIS IR 套件存放區加以管理,則您會在 Azure-SSIS IR 監視頁面上看到 [套件存放區] 圖格 (請參閱設定 Azure-SSIS IR 部署設定)。 在此圖格上,您可以選取一個連結,指定連結至 Azure-SSIS IR 的套件存放區數目以快顯視窗,以便在您的 Azure SQL 受控執行個體所裝載的檔案系統/Azure 檔案儲存體/MSDB 上,重新設定 Azure-SSIS IR 套件存放區的相關連結服務。
錯誤圖格
如果 Azure-SSIS IR 的啟動/停止/維護/升級發生問題,您會在 Azure-SSIS IR 監視頁面上看到額外的 [錯誤] 圖格。 在此圖格上,您可以選取一個連結 (指定您的 Azure-SSIS IR 所產生的錯誤數目) 以快顯視窗,您可以在其中詳細查看這些錯誤,並複製這些錯誤,以在疑難排解指南中找到建議的解決方案,(請參閱對您的 Azure-SSIS IR 進行疑難排解)。
使用 Azure 監視器來監視 Azure-SSIS 整合執行階段
若要使用 Azure 監視器來監視您的 Azure-SSIS IR,請參閱使用 Azure 監視器來監視 SSIS 作業。
深入了解 Azure-SSIS 整合執行階段
請參閱下列文章以深入了解 Azure SSIS 整合執行階段:
- Azure-SSIS 整合執行階段。 本文提供整合執行階段的一般概念性資訊,包括 Azure-SSIS IR。
- 教學課程:將 SSIS 套件部署至 Azure。 本文逐步說明如何建立 Azure-SSIS IR,並使用 Azure SQL Database 裝載 SSIS 目錄 (SSISDB)。
- 如何:建立 Azure-SSIS 整合執行階段。 這篇文章會詳述教學課程,並提供使用 Azure SQL 受控執行個體來裝載 SSISDB 的指示。
- 管理 Azure-SSIS IR。 這篇文章會說明如何啟動、停止或刪除 Azure-SSIS IR。 此外也會說明如何藉由新增更多節點加以擴增。
- 將 Azure-SSIS IR 加入虛擬網路。 本文提供將 Azure-SSIS IR 加入虛擬網路的指示。
相關內容
請參閱以下文章,以不同的方式監視管線: