Referência de dados de monitoramento do Azure Stream Analytics
Este artigo contém todas as informações de referência de monitoramento para este serviço.
Consulte Monitorar o Azure Stream Analytics para obter detalhes sobre os dados que você pode coletar para o Azure Stream Analytics e como usá-los.
Métricas
Esta seção lista todas as métricas da plataforma coletadas automaticamente para este serviço. Essas métricas também fazem parte da lista global de todas as métricas da plataforma com suporte no Azure Monitor.
Para obter informações sobre retenção de métricas, consulte Visão geral das métricas do Azure Monitor.
O Azure Stream Analytics fornece muitas métricas que podem ser usadas para monitorar e solucionar problemas de desempenho de seus trabalhos e consultas. Você pode exibir dados dessas métricas na página Visão geral do portal do Azure, na seção Monitoramento.
Se quiser verificar uma métrica específica, selecione Métricas na seção Monitoramento. Na página exibida, selecione a métrica.
Métricas com suporte para Microsoft.StreamAnalytics/streamingjobs
A tabela a seguir lista as métricas disponíveis para o tipo de recurso Microsoft.StreamAnalytics/streamingjobs.
- Nem todas as colunas podem estar presentes em todas as tabelas.
- Algumas colunas podem estar além da área de visualização da página. Selecione Expandir tabela para exibir todas as colunas disponíveis.
Títulos de tabela
- Categoria: o grupo ou classificação de métricas.
- Métrica: o nome de exibição da métrica como aparece no portal do Azure.
- Nome na API REST: o nome da métrica, conforme mencionado na API REST.
- Unidade: unidade de medida
- Agregação: o tipo de agregação padrão. Valores válidos: Médio (Méd.), Mínimo (Mín.), Máximo (Máx.), Total (Soma), Contagem.
- Dimensões: as Dimensões disponíveis para a métrica.
- Intervalos de agregação: os Intervalos em que a métrica é amostrada. Por exemplo,
PT1Mindica que a métrica é amostrada a cada minuto,PT30Ma cada 30 minutos,PT1Ha cada hora e assim por diante. - Exportação de DS: se a métrica é exportável para os Logs do Azure Monitor via configurações de diagnóstico. Para obter mais informações sobre exportação de métricas, consulte as Criar configurações de diagnóstico no Azure Monitor.
| Métrica | Nome na API REST | Unidade | Agregação | Dimensões | Granularidade de tempo | Exportação de DS |
|---|---|---|---|---|---|---|
| Solicitações de função com falha Solicitações de função com falha |
AMLCalloutFailedRequests |
Count | Total (Soma) | LogicalName, PartitionId, ProcessorInstance, NodeName |
PT1M | Sim |
| Eventos de função Eventos de função |
AMLCalloutInputEvents |
Count | Total (Soma) | LogicalName, PartitionId, ProcessorInstance, NodeName |
PT1M | Sim |
| Solicitações de função Solicitações de função |
AMLCalloutRequests |
Count | Total (Soma) | LogicalName, PartitionId, ProcessorInstance, NodeName |
PT1M | Sim |
| Erros de conversão de dados Erros de conversão de dados |
ConversionErrors |
Count | Total (Soma) | LogicalName, PartitionId, ProcessorInstance, NodeName |
PT1M | Sim |
| Erros de desserialização de entrada Erros de desserialização de entrada |
DeserializationError |
Count | Total (Soma) | LogicalName, PartitionId, ProcessorInstance, NodeName |
PT1M | Sim |
| Eventos fora de ordem Eventos fora de ordem |
DroppedOrAdjustedEvents |
Count | Total (Soma) | LogicalName, PartitionId, ProcessorInstance, NodeName |
PT1M | Sim |
| Eventos de Entrada Antecipados Eventos de Entrada Antecipados |
EarlyInputEvents |
Count | Total (Soma) | LogicalName, PartitionId, ProcessorInstance, NodeName |
PT1M | Sim |
| Erros de runtime Erros de runtime |
Errors |
Count | Total (Soma) | LogicalName, PartitionId, ProcessorInstance, NodeName |
PT1M | Sim |
| Bytes de evento de entrada Bytes de evento de entrada |
InputEventBytes |
Bytes | Total (Soma) | LogicalName, PartitionId, ProcessorInstance, NodeName |
PT1M | Sim |
| Eventos de entrada Eventos de entrada |
InputEvents |
Count | Total (Soma) | LogicalName, PartitionId, ProcessorInstance, NodeName |
PT1M | Sim |
| Eventos de Entrada Acumulados Eventos de Entrada Acumulados |
InputEventsSourcesBacklogged |
Count | Médio, Máximo, Mínimo | LogicalName, PartitionId, ProcessorInstance, NodeName |
PT1M | Sim |
| Fontes de Entrada Recebidas Fontes de Entrada Recebidas |
InputEventsSourcesPerSecond |
Count | Total (Soma) | LogicalName, PartitionId, ProcessorInstance, NodeName |
PT1M | Sim |
| Eventos de Entrada Tardia Eventos de entrada atrasados |
LateInputEvents |
Count | Total (Soma) | LogicalName, PartitionId, ProcessorInstance, NodeName |
PT1M | Sim |
| Eventos de saída Eventos de saída |
OutputEvents |
Count | Total (Soma) | LogicalName, PartitionId, ProcessorInstance, NodeName |
PT1M | Sim |
| Atraso de Marca-d'água Atraso de Marca-d'água |
OutputWatermarkDelaySeconds |
Segundos | Médio, Máximo, Mínimo | LogicalName, PartitionId, ProcessorInstance, NodeName |
PT1M | Sim |
| % de Utilização da CPU % de Utilização da CPU |
ProcessCPUUsagePercentage |
Percentual | Médio, Máximo, Mínimo | LogicalName, PartitionId, ProcessorInstance, NodeName |
PT1M | Sim |
| % de Utilização de SU (Memória) % de Utilização de SU (Memória) |
ResourceUtilization |
Percentual | Médio, Máximo, Mínimo | LogicalName, PartitionId, ProcessorInstance, NodeName |
PT1M | Sim |
Descrições de métricas
O Azure Stream Analytics fornece as seguintes métricas para monitorar a integridade do trabalho.
| Métrica | Definição |
|---|---|
| Eventos de Entrada Acumulados | Número de eventos de entrada com lista de pendências. Um valor diferente de zero nessa métrica indica que o trabalho não consegue acompanhar o número de eventos de entrada. Se o valor for aumentando de maneira lenta ou for consistentemente diferente de zero, escale horizontalmente o trabalho. Para saber mais, confira Entender e ajustar unidades de streaming. |
| Erros de conversão de dados | Número de eventos de saída que não pôde ser convertido para o esquema de saída esperado. Para remover eventos que encontram esse cenário, você pode alterar a política de erro para Remover. |
| % de Utilização da CPU (versão prévia) | Percentual de CPU que o trabalho utiliza. Mesmo que esse valor seja muito alto (90% ou mais), você não deve aumentar o número de SUs com base apenas nessa métrica. Se o número de eventos de entrada pendentes ou os atrasos de marca-d'água aumentar, você poderá usar essa métrica para determinar se a CPU é o gargalo. Essa métrica pode ter picos intermitentes. Recomendamos que você faça testes de escala para determinar o limite superior do trabalho após o qual as entradas ficam pendentes ou os atrasos de marca-d'água aumentam devido a um gargalo da CPU. |
| Eventos de Entrada Antecipados | Eventos cujos carimbos de data/hora do aplicativo sejam anteriores à hora de chegada por mais de cinco minutos. |
| Solicitações de função com falha | Número de chamadas à função Azure Machine Learning com falha (se presente). |
| Eventos de função | Número de eventos enviados à função Azure Machine Learning (se presente). |
| Solicitações de função | Número de chamadas à função Azure Machine Learning (se presente). |
| Erros de desserialização de entrada | Número de eventos de entrada que não puderam ser desserializados. |
| Bytes de evento de entrada | Quantidade de dados que o trabalho do Stream Analytics recebe, em bytes. Você pode usar essa métrica para validar que os eventos estão sendo enviados para a fonte de entrada. |
| Eventos de entrada | Número de registros desserializados nos eventos de entrada. Essa contagem não inclui eventos de entrada que resultam em erros de desserialização. O Stream Analytics pode ingerir os mesmos eventos várias vezes em cenários como recuperações internas e autojunções. Não espere que as métricas de Eventos de Entrada e de Eventos de Saída correspondam se o seu trabalho tiver uma consulta passagem simples. |
| Fontes de Entrada Recebidas | Número de mensagens que o trabalho recebe. Para Hubs de Eventos do Azure, uma mensagem é um item EventData. Para o Armazenamento de Blobs do Azure, uma mensagem é um blob. Observe que as fontes de entrada são contadas antes da desserialização. Se houver erros de desserialização, as fontes de entrada poderão ser maiores que os eventos de entrada. Caso contrário, as fontes de entrada podem ser inferiores ou iguais aos eventos de entrada, pois cada mensagem pode conter vários eventos. |
| Eventos de Entrada Tardia | Eventos que chegaram mais tarde do que a janela de tolerância configurada para chegadas tardias. Saiba mais sobre Considerações sobre a ordem dos eventos do Azure Stream Analytics. |
| Eventos Fora de Ordem | Número de eventos recebidos fora de ordem que foram removidos ou receberam um carimbo de data/hora ajustado, com base na política de ordenação de evento. Essa métrica pode ser afetada pela configuração da Definição da Janela de Tolerância Fora de Ordem. |
| Eventos de saída | Quantidade de dados que o trabalho do Stream Analytics envia para o destino de saída, em números de evento. |
| Erros de runtime | Número total de erros relacionados ao processamento da consulta. Exclui erros encontrados ao ingerir eventos ou gerar resultados. |
| % de Utilização de SU (Memória) | Percentual de memória que o trabalho utiliza. Se essa métrica estiver consistentemente acima de 80%, o atraso da marca-d'água estiver aumentando e o número de eventos pendentes estiver subindo, considere aumentar as (SUs) unidades de streaming. A alta utilização indica que o trabalho está perto de usar o máximo de recursos alocados. |
| Atraso de Marca-d'água | O atraso máximo de marca-d'água em todas as partições de todas as saídas no trabalho. |
Dimensões de métrica
Para obter mais informações sobre o que são dimensões de métrica, confira Métricas multidimensionais.
Este serviço tem as dimensões a seguir associadas a essas métricas.
| Dimensão | Definição |
|---|---|
| Nome Lógico | O nome de entrada ou saída de um trabalho do Stream Analytics. |
| Identificação da Partição | A ID da partição de dados de entrada de uma fonte de entrada. Por exemplo, se a fonte de entrada for um hub de eventos, a ID da partição será a ID da partição do hub de eventos. Para trabalhos perfeitamente paralelos, a ID da partição da saída é a mesma da entrada. |
| Nome do Nó | O identificador de um nó de streaming que é provisionado quando o trabalho é executado. Um nó de streaming representa a quantidade de recursos de computação e memória alocados para o trabalho. |
Dimensão Nome Lógico
Nome Lógico é o nome de entrada ou saída de um trabalho do Stream Analytics. Por exemplo, suponha que um trabalho do Stream Analytics tenha quatro entradas e cinco saídas. Você verá as quatro entradas lógicas individuais e cinco saídas lógicas individuais, ao dividir as métricas relacionadas à entrada e à saída por essa dimensão.
A dimensão Nome Lógico está disponível para filtrar e dividir as seguintes métricas:
- Eventos de Entrada Acumulados
- Erros de conversão de dados
- Eventos de Entrada Antecipados
- Erros de desserialização de entrada
- Bytes de evento de entrada
- Eventos de entrada
- Fonte de entrada recebida
- Eventos de Entrada Tardia
- Eventos Fora de Ordem
- Eventos de saída
- Atraso de Marca-d'água
Dimensão "Nome do Nó"
Um nó de streaming representa um conjunto de recursos de computação usados para processar seus dados de entrada. A cada seis SUs (unidades de streaming), ocorre a conversão em um nó, que o serviço gerencia automaticamente para você. Para saber mais sobre a relação entre as unidades de streaming e os nós de streaming, confira Entender e ajustar as unidades de streaming.
Nome do Nó é uma dimensão no nível do nó de streaming. Ele pode ajudar a analisar detalhadamente determinadas métricas para o nível do nó de streaming específico. Por exemplo, é possível dividir a métrica de Porcentagem de Utilização da CPU pelo nível do nó de streaming, para verificar a utilização da CPU de um nó de streaming individual.
A dimensão Nome do Nó está disponível para filtrar e dividir as seguintes métricas:
- Eventos de Entrada Acumulados
- % de utilização da CPU (versão preliminar)
- Eventos de entrada
- Eventos de saída
- % de Utilização de SU (Memória)
- Atraso de Marca-d'água
Dimensão "ID da Partição"
Quando dados de streaming são ingeridos no serviço Azure Stream Analytics para processamento, esses dados de entrada são distribuídos para nós de streaming de acordo com as partições na fonte de entrada. A dimensão ID da Partição é a ID da partição de dados de entrada da fonte de entrada.
Por exemplo, se a fonte de entrada for um hub de eventos, a ID da partição será a ID da partição do hub de eventos. A ID da partição da entrada é a mesma da saída.
A dimensão ID da Partição está disponível para filtrar e dividir as seguintes métricas:
- Eventos de Entrada Acumulados
- Erros de conversão de dados
- Eventos de Entrada Antecipados
- Erros de desserialização de entrada
- Bytes de evento de entrada
- Eventos de entrada
- Fonte de entrada recebida
- Eventos de Entrada Tardia
- Eventos de saída
- Atraso de Marca-d'água
Logs de recursos
Esta seção lista os tipos de logs de recursos que você pode coletar para o este serviço. A seção extrai da lista de todos os tipos de categoria de logs de recursos com suporte no Azure Monitor.
Logs de recursos com suporte para Microsoft.StreamAnalytics/streamingjobs
| Categoria | Nome de exibição da categoria | Tabela de log | Com suporte a plano de log básico | Com suporte a transformações de tempo-ingestão | Consultas de exemplo | Custos para exportar |
|---|---|---|---|---|---|---|
Authoring |
Criação | AzureDiagnostics Logs de vários recursos do Azure. |
Não | Não | Consultas | Não |
Execution |
Execução | AzureDiagnostics Logs de vários recursos do Azure. |
Não | Não | Consultas | Não |
Esquema de logs de recursos
Todos os logs são armazenados no formato JSON. Cada entrada tem os seguintes campos de cadeia de caracteres comuns:
| Nome | Descrição |
|---|---|
| time | Carimbo de data/hora (em UTC) do log. |
| resourceId | ID do recurso em que a operação ocorreu, em maiúsculas. Inclui a ID da assinatura, o grupo de recursos e o nome do trabalho. Por exemplo, /SUBSCRIPTIONS/aaaa0a0a-bb1b-cc2c-dd3d-eeeeee4e4e4e/RESOURCEGROUPS/MY-RESOURCE-GROUP/PROVIDERS/MICROSOFT. STREAMANALYTICS/STREAMINGJOBS/MYSTREAMINGJOB. |
| categoria | Categoria do log, Execução ou Criação. |
| operationName | Nome da operação que está registrada. Por exemplo, Enviar Eventos: falha na gravação da Saída do SQL em mysqloutput. |
| status | Status da operação. Por exemplo, Com Falha ou Com Êxito. |
| nível | Nível do log. Por exemplo, Erro, Aviso ou Informativo. |
| properties | Detalhes específicos à entrada de log, serializados como uma cadeia de caracteres JSON. Para obter mais informações, consulte as próximas seções deste artigo. |
Esquema de propriedades do log de execução
Os logs de execução trazem informações sobre eventos que ocorreram durante a execução do trabalho do Stream Analytics. O esquema de propriedades varia dependendo se o evento é um erro de dados ou um evento genérico.
Erros de dados
Qualquer erro ocorrido enquanto o trabalho processa os dados está nessa categoria de logs. Esses logs costumam ser criados durante operações de leitura, serialização e gravação de dados. Esses logs não incluem erros de conectividade. Os erros de conectividade são tratados como eventos genéricos. Você pode saber mais sobre a causa de vários erros de dados de entrada e saída diferentes.
| Nome | Descrição |
|---|---|
| Fonte | Nome da entrada ou saída do trabalho em que ocorreu o erro. |
| Mensagem | Mensagem associada ao erro. |
| Tipo | Tipo de erro. Por exemplo, DataConversionError, CsvParserError ou ServiceBusPropertyColumnMissingError. |
| Dados | Contém dados que são úteis para localizar com precisão a origem do erro. Sujeito a truncamento, dependendo do tamanho. |
Dependendo do valor de operationName, os erros de dados terão o seguinte esquema:
Serializar os eventos ocorre durante operações de leitura de eventos. Isso ocorre quando os dados na entrada não satisfazem o esquema de consulta por um dos seguintes motivos:
Incompatibilidade de tipos durante a serialização/desserialização de eventos: identifica o campo que está causando o erro.
Impossibilidade ler um evento, serialização inválida: lista informações sobre o local nos dados de entrada no qual o erro ocorreu. Inclui o nome do blob para a entrada do blob, o deslocamento e uma amostra dos dados.
Enviar eventos ocorre durante operações de gravação. Ele identifica o evento de streaming que causou o erro.
Eventos genéricos
Os eventos genéricos abrangem todo o resto.
| Nome | Descrição |
|---|---|
| Erro | (opcional) Informações sobre erros. De modo geral, trata-se de informações de exceção, se estiverem disponíveis. |
| Mensagem | Mensagem de log. |
| Tipo | Tipo de mensagem. É mapeado para a categorização interna de erros. Por exemplo, JobValidationError ou BlobOutputAdapterInitializationFailure. |
| ID de Correlação | GUID que identifica exclusivamente a execução do trabalho. Todas as entradas do log de execução desde a hora em que o trabalho é iniciado até ele ser interrompido têm o mesmo valor de ID de Correlação. |
Para obter referência, consulte uma lista de todos os tipos de categoria de logs de recursos com suporte no Azure Monitor ou todos os tipos de categoria de log de recursos coletados para o Azure Stream Analytics.
Tabelas de Logs do Azure Monitor
Esta seção lista todas as tabelas dos Logs do Azure Monitor relevantes para este serviço e disponíveis para consulta pela análise de logs usando o Kusto. As tabelas contêm dados de log de recursos e possivelmente mais, dependendo do que é coletado e roteado para elas.
Trabalhos do Stream Analytics
| Categoria | Nome de exibição da categoria | Tabela de log | Com suporte a plano de log básico | Com suporte a transformações de tempo-ingestão | Consultas de exemplo | Custos para exportar |
|---|---|---|---|---|---|---|
Authoring |
Criação | AzureDiagnostics Logs de vários recursos do Azure. |
Não | Não | Consultas | Não |
Execution |
Execução | AzureDiagnostics Logs de vários recursos do Azure. |
Não | Não | Consultas | Não |
Log de atividades
A tabela vinculada lista as operações que podem ser registradas no log de atividades desse serviço. Essas operações são um subconjunto de todas as operações do provedor de recursos possíveis no log de atividades.
Para obter mais informações sobre o esquema de entradas do log de atividades, confira Esquema do log de atividades.