Monitorar as operações do SSIS com o Azure Monitor
Observação
Você só pode monitorar a operação do SSIS com o Azure Monitor no Azure Data Factory, não no Azure Synapse Pipelines.
Para elevar e deslocar as cargas de trabalho do SSIS, você pode provisionar o SSIS IR no ADF que dá suporte ao seguinte:
- Execução de pacotes implantados no catálogo do SSIS (SSISDB) hospedado por uma Instância Gerenciada/servidor do Banco de Dados SQL do Azure (modelo de implantação de projeto)
- Execução de pacotes implantados no sistema de arquivos, nos Arquivos do Azure ou no banco de dados do SQL Server (MSDB) hospedado pela Instância Gerenciada de SQL do Azure (modelo de implantação de pacote)
Depois de provisionado, você pode verificar o status operacional do SSIS IR usando o Azure PowerShell ou no hub de monitoramento do portal do ADF. Com o modelo de implantação de projeto, os logs de execução de pacotes do SSIS são armazenados em tabelas ou exibições internas do SSISDB, para que você possa consultar, analisar e fazer a apresentação visual usando as ferramentas designadas como o SSMS. Com o modelo de implantação de pacote, os logs de execução de pacotes do SSIS podem ser armazenados no sistema de arquivos ou nos Arquivos do Azure como arquivos CSV, que você ainda precisa analisar e processar usando outras ferramentas designadas antes de consultar, analisar e fazer a apresentação visual.
Agora com a integração do Azure Monitor, você pode consultar, analisar e apresentar visualmente todas as métricas e logs gerados das operações do SSIS IR e das execuções de pacotes SSIS no portal do Azure. Além disso, você também pode gerar alertas sobre eles.
Definir as configurações de diagnóstico e o workspace para as operações do SSIS
Para enviar todas as métricas e logs gerados das operações do SSIS IR e das execuções de pacotes SSIS para o Azure Monitor, você precisa definir as configurações de diagnóstico e o workspace para o ADF.
Métricas operacionais do SSIS
As métricas operacionais do SSIS são contadores de desempenho ou valores numéricos que descrevem o status das operações de início e de parada do SSIS IR, bem como as execuções de pacotes SSIS em determinado momento. Elas fazem parte das métricas do Azure Monitor.
Ao definir as configurações de diagnóstico e o espaço de trabalho para seu ADF no Azure Monitor, selecionar a caixa de seleção AllMetrics disponibilizará as métricas operacionais do SSIS para análise interativa usando o gerenciador de métricas do Azure, apresentação no painel do Azure e alertas em tempo quase real.
Alertas operacionais do SSIS
Para gerar alertas sobre as métricas operacionais do SSIS no portal do ADF, selecione a página Alertas e métricas do hub do Monitor do ADF e siga as instruções passo a passo fornecidas.
Para gerar alertas sobre as métricas operacionais do SSIS no portal do Azure, selecione a página Alertas do hub do Azure Monitor e siga as instruções passo a passo fornecidas.
Logs operacionais do SSIS
Os logs operacionais do SSIS são eventos gerados pelas operações do SSIS IR e pelas execuções de pacotes SSIS, que fornecem contexto suficiente sobre quaisquer problemas identificados e são úteis para a análise da causa raiz.
Ao definir as configurações de diagnóstico e o workspace para o ADF no Azure Monitor, você pode selecionar os logs operacionais do SSIS relevantes e enviá-los para o Log Analytics que é baseado no Azure Data Explorer. Ali, eles serão disponibilizados para análise usando linguagem de consulta avançada, apresentação no painel do Azuree alertas quase em tempo real.
Os esquemas e o conteúdo dos logs de execução de pacotes do SSIS no Azure Monitor e no Log Analytics são semelhantes aos esquemas das tabelas ou exibições internas do SSISDB.
| Categorias de log do Azure Monitor | Tabelas do Log Analytics | Tabelas/exibições internas do SSISDB |
|---|---|---|
SSISIntegrationRuntimeLogs |
ADFSSISIntegrationRuntimeLogs |
|
SSISPackageEventMessageContext |
ADFSSISPackageEventMessageContext |
[internal].[event_message_context] |
SSISPackageEventMessages |
ADFSSISPackageEventMessages |
[internal].[event_messages] |
SSISPackageExecutableStatistics |
ADFSSISPackageExecutableStatistics |
[internal].[executable_statistics] |
SSISPackageExecutionComponentPhases |
ADFSSISPackageExecutionComponentPhases |
[internal].[execution_component_phases] |
SSISPackageExecutionDataStatistics |
ADFSSISPackageExecutionDataStatistics |
[internal].[execution_data_statistics] |
Para obter mais informações sobre atributos/propriedades de log operacional do SSIS, confira Logs de recursos.
Os logs de execução de pacotes do SSIS selecionados são sempre enviados para o Log Analytics, independentemente dos métodos de invocação. Por exemplo, você pode invocar execuções de pacote no SSDT habilitado para Azure, por meio do T-SQL no SSMS, SQL Server Agent ou outras ferramentas designadas, e como execuções disparadas ou de depuração das atividades de Execução de Pacotes SSIS nos pipelines do ADF.
Ao consultar os logs de operação do SSIS IR na análise de logs, você pode usar as propriedades OperationName e ResultType que são definidas como Start/Stop/Maintenance/Heartbeat e Started/InProgress/Succeeded/Failed/Healthy/Unhealthy, respectivamente.
Para consultar o status do nó de IR do SSIS, você pode definir a propriedade OperationName como Heartbeat. Cada nó normalmente envia um registro Heartbeat por minuto para o Log Analytics com a propriedade ResultType refletindo seu status, que é quando Healthy fica disponível para execuções de pacote e quando Unhealthy não está. Por exemplo, se o seu SSIS IR tiver dois nós disponíveis, você sempre verá dois registros Heartbeat com a propriedade ResultType definida como Healthy em um intervalo de um minuto.
Você pode consultar os seguintes padrões para detectar a indisponibilidade de seus nós de IR do SSIS:
- Estão faltando registros
Heartbeatem muitos intervalos de um minuto quando o IR de SSIS ainda está em execução. - Há registros
Heartbeatcom a propriedade ResultType definida comoUnhealthyem muitos intervalos de um minuto quando o IR de SSIS ainda está em execução.
Você pode transformar as consultas acima em alertas e ir para a sua página de monitoramento de IR do SSIS para confirmar quando receberá esses alertas.
Ao consultar os logs de execução de pacotes do SSIS no Logs Analytics, você pode ingressá-los usando as propriedades OperationId/ExecutionId/CorrelationId. OperationId/ExecutionId são sempre definidas como 1 para todas as operações/execuções relacionadas aos pacotes não armazenados no SSISDB/invocados por meio do T-SQL.
