Monitorar o Azure Data Explorer
O Azure Monitor coleta e agrega métricas e logs de seu sistema para monitorar a disponibilidade, o desempenho e a resiliência e notificar você sobre problemas que afetam seu sistema. Você pode usar o portal do Azure, o PowerShell, a CLI do Azure, a API REST ou as bibliotecas de cliente para configurar e exibir dados de monitoramento.
Métricas e logs diferentes estão disponíveis para diferentes tipos de recursos. Este artigo descreve os tipos de dados de monitoramento que você pode coletar para esse serviço e maneiras de analisar esses dados.
Coletar dados com o Azure Monitor
Esta tabela descreve como você pode coletar dados para monitorar seu serviço e o que você pode fazer com os dados uma vez coletados:
| Dados a serem coletados | Descrição | Como coletar e rotear os dados | Onde exibir os dados | Dados com suporte |
|---|---|---|---|---|
| Dados métricos | As métricas são valores numéricos que descrevem um aspecto de um sistema em um determinado momento. As métricas podem ser agregadas usando algoritmos, em comparação com outras métricas e analisadas para tendências ao longo do tempo. | – Coletado automaticamente em intervalos regulares. – Você pode rotear algumas métricas de plataforma para um workspace do Log Analytics para consultar outros dados. Verifique a configuração de exportação para o DS de cada métrica para ver se você pode usar uma configuração de diagnóstico para rotear os dados da métrica. |
Metrics explorer | Métricas do Azure Data Explorer compatíveis com o Azure Monitor |
| Dados do log de recursos | Os logs são eventos do sistema registrados com um carimbo de data/hora. Os logs podem conter diferentes tipos de dados e ser estruturados ou texto de forma livre. Você pode direcionar dados de log de recursos para workspaces do Log Analytics para consulta e análise. | Criar uma configuração de diagnóstico para coletar e rotear dados de log de recursos. | Log Analytics | Dados de log de recursos do Azure Data Explorer compatíveis com o Azure Monitor |
| Dados do log de atividades | O log de atividades do Azure Monitor fornece informações sobre eventos no nível da assinatura. O log de atividades inclui informações como quando um recurso é modificado ou uma máquina virtual é iniciada. | - Coletado automaticamente. - Criar uma configuração de diagnóstico para um workspace do Log Analytics sem custo. |
Log de atividades |
Para obter a lista de todos os dados compatíveis com o Azure Monitor, consulte:
Monitoramento embutido para o Azure Data Explorer
O Azure Data Explorer oferece métricas e logs para monitorar o serviço.
Monitorar o desempenho, a integridade e o uso do Azure Data Explorer com métricas
As métricas do Azure Data Explorer fornecem indicadores importantes sobre a integridade e o desempenho dos recursos de cluster do Azure Data Explorer. Use as métricas para monitorar o uso, a integridade e o desempenho do cluster do Azure Data Explorer em seu cenário específico como métricas autônomas. Você pode usar métricas como a base para Painéis do Azure e Alertas do Azure operacionais.
Para usar métricas para monitorar os recursos do Azure Data Explorer no portal do Azure:
- Entre no portal do Azure.
- No painel esquerdo do cluster do Azure Data Explorer, pesquise por métricas .
- Selecione Métricas para abrir o painel de métricas e iniciar a análise em seu cluster.
No painel de métricas, selecione métricas específicas para acompanhar, escolha como agregar seus dados e crie gráficos de métricas para exibir no painel.
Os seletores Recurso e Namespace de métrica são pré-selecionados para o cluster do Azure Data Explorer. Os números na imagem a seguir correspondem à lista numerada. Eles orientam você pelas diferentes opções na configuração e exibição de suas métricas.
- Para criar um gráfico de métrica, selecione nome da Métrica e Agregação relevante por métrica. Para obter mais informações sobre métricas diferentes, confira métricas do Azure Data Explorer com suporte.
- Selecione Adicionar de métrica para ver várias métricas plotadas no mesmo gráfico.
- Selecione + Novo gráfico para ver vários gráficos em uma exibição.
- Use o seletor de tempo para alterar o intervalo de tempo (padrão: últimas 24 horas).
- Use Adicionar filtro e Aplicar divisão para métricas que têm dimensões.
- Selecione Fixar no painel para adicionar a configuração do gráfico aos painéis para que você possa exibi-lo novamente.
- Defina nova regra de alerta para visualizar suas métricas usando os critérios definidos. A nova regra de alerta inclui o recurso de destino, a métrica, a segmentação e as dimensões de filtro do gráfico. Modifique essas configurações usando o painel criação de regra de alerta.
Monitorar ingestão, comandos, consultas e tabelas do Azure Data Explorer usando logs de diagnóstico
O Azure Data Explorer é um serviço de análise de dados rápido e totalmente gerenciado para análise em tempo real em grandes volumes de streaming de dados de aplicativos, sites, dispositivos IoT e muito mais. Os logs de diagnóstico do Azure Monitor fornecem dados sobre a operação dos recursos do Azure. O Azure Data Explorer usa logs de diagnóstico para obter insights sobre ingestão, comandos, consultas e tabelas. Você pode exportar logs de operação para o Armazenamento do Azure, o hub de eventos ou o Log Analytics para monitorar a ingestão, os comandos e o status da consulta. Os logs do Azure Storage e dos Azure Event Hubs podem ser roteados para uma tabela no cluster do Azure Data Explorer para análise posterior.
Importante
Os dados do log de diagnóstico podem conter dados confidenciais. Restrinja permissões do destino de logs de acordo com suas necessidades de monitoramento.
Nota
No portal do Azure, os dados brutos de métricas das páginas Metrics e Insights são armazenados no Azure Monitor. As consultas nessas páginas consultam os dados brutos de métricas diretamente para fornecer os resultados mais precisos. Ao usar o recurso de configurações de diagnóstico, você pode migrar os dados brutos de métricas para o workspace do Log Analytics. Durante a migração, algumas precisões de dados podem ser perdidas devido ao arredondamento; portanto, os resultados da consulta podem variar ligeiramente dos dados originais. A margem de erro é inferior a 1%.
Os logs de diagnóstico podem ser usados para configurar a coleta dos seguintes dados de log:
Nota
- Os logs de ingestão têm suporte para ingestão em fila para o URI de ingestão de dados usando as bibliotecas de cliente Kusto e conectores de dados.
- Não há suporte para logs de ingestão para ingestão de streaming, ingestão direta para o URI do cluster, ingestão de consultas ou comandos
.set-or-append.
Nota
Os logs de ingestão com falha só são relatados no estado final de uma operação de ingestão, ao contrário da métrica Resultado da ingestão, que é emitida para falhas transitórias que são repetidas internamente.
- Operações de ingestão bem-sucedidas: esses logs trazem informações sobre as operações de ingestão concluídas com êxito.
- Operações de ingestão com falha: Esses logs contêm informações detalhadas sobre operações de ingestão com falha, incluindo detalhes dos erros.
- Operações de envio em lote de ingestão: esses logs trazem estatísticas detalhadas dos lotes prontos para ingestão (duração, tamanho do lote, contagem de blobs e tipos de envio em lote).
Você pode optar por enviar os dados de log para um workspace do Log Analytics, uma conta de armazenamento ou transmiti-los para um hub de eventos.
Os logs de diagnóstico são desabilitados por padrão. Use as seguintes etapas para ativar os logs de diagnóstico para seu cluster:
No portal do Azure, selecione o recurso de cluster que você deseja monitorar.
Em Monitoramento, selecione Configurações de diagnóstico.
Selecione Adicionar configuração de diagnóstico.
Na janela Configurações de diagnóstico:
- Insira um Nome da configuração de diagnóstico.
- Selecione um ou mais destinos de destino: um workspace do Log Analytics, uma conta de armazenamento ou um hub de eventos.
- Selecione os logs a serem coletados: Ingestão bem-sucedida, Ingestão com falha, Agrupamento de ingestão, Comando, Consulta, Estatísticas de uso da tabela, Detalhes da tabela, ou Diário.
- Selecione as métricas a serem coletadas (opcional).
- Escolha Salvar para salvar as novas métricas e configurações de logs de diagnóstico.
Quando as configurações estiverem prontas, os logs começarão a aparecer nos destinos de destino configurados: uma conta de armazenamento, um hub de eventos ou um workspace do Log Analytics.
Nota
Se você enviar logs para um workspace do Log Analytics, os logs SucceededIngestion, FailedIngestion, IngestionBatching, Command, Query, TableUsageStatistics, TableDetailse Journal serão armazenados em tabelas do Log Analytics denominadas: SucceededIngestion, FailedIngestion, ADXIngestionBatching, ADXCommand, ADXQuery, ADXTableUsageStatistics, ADXTableDetailse ADXJournal respectivamente.
Usar as ferramentas do Azure Monitor para analisar os dados
Essas ferramentas do Azure Monitor estão disponíveis no portal do Azure para ajudá-lo a analisar os dados de monitoramento:
Alguns serviços do Azure têm um painel de monitoramento interno no portal do Azure. Esses dashboards são chamados
insights e você pode encontrá-los na seção doInsights do Azure Monitor no portal do Azure. o Metrics Explorer permite exibir e analisar métricas para recursos do Azure. Para obter mais informações, consulte Analisar métricas com o gerenciador de métricas do Azure Monitor.
O Log Analytics permite consultar e analisar dados de log usando a KQL (linguagem de consulta Kusto). Para obter mais informações, consulte Introdução às consultas de log no Azure Monitor.
O portal do Azure tem uma interface do usuário para exibição e pesquisas básicas do log de atividades . Para fazer uma análise mais detalhada, encaminhe os dados para os logs do Azure Monitor e execute consultas mais complexas no Log Analytics.
o Application Insights monitora a disponibilidade, o desempenho e o uso de seus aplicativos Web, para que você possa identificar e diagnosticar erros sem esperar que um usuário os denuncie.
Application Insights inclui pontos de conexão para várias ferramentas de desenvolvimento e integra-se ao Visual Studio para dar suporte aos processos de DevOps. Para obter mais informações, confira Monitoramento de aplicativos do Serviço de Aplicativo.
As ferramentas que permitem visualização mais complexa incluem:
- Dashboards que permitem combinar diferentes tipos de dados em um único painel no portal do Azure.
- Pastas de Trabalho, relatórios personalizáveis que você pode criar no portal do Azure. As pastas de trabalho podem incluir texto, métricas e consultas de log.
- Grafana, uma ferramenta de plataforma aberta que se destaca em painéis operacionais. Você pode usar o Grafana para criar painéis que incluem dados de várias fontes diferentes do Azure Monitor.
- O Power BI , um serviço de análise de negócios que fornece visualizações interativas em várias fontes de dados. Você pode configurar o Power BI para importar automaticamente os dados de log do Azure Monitor para aproveitar essas visualizações.
Exportar dados do Azure Monitor
Você pode exportar dados do Azure Monitor para outras ferramentas usando:
Métricas: Use a API REST para métricas para extrair dados de métricas do banco de dados de métricas do Azure Monitor. Para obter mais informações, confira Referência da API REST do Azure Monitor.
Logs: Use a API REST ou as bibliotecas de cliente associadas.
Para começar a usar a API REST do Azure Monitor, consulte passo a passo da API REST de monitoramento do Azure.
Usar consultas Kusto para analisar dados de log
Você pode analisar os dados do Log do Azure Monitor usando a KQL (linguagem de consulta Kusto). Para obter mais informações, confira Consultas de log no Azure Monitor.
Usar alertas do Azure Monitor para notificar você sobre problemas
Alertas do Azure Monitor permitem que você identifique e resolva problemas em seu sistema e notifiquem proativamente você quando condições específicas forem encontradas em seus dados de monitoramento antes que seus clientes os percebam. Você pode receber alertas sobre qualquer fonte de dados de log ou métrica na plataforma de dados do Azure Monitor. Há tipos diferentes de alertas do Azure Monitor dependendo dos serviços que você está monitorando e dos dados de monitoramento que você está coletando. Confira Escolhendo o tipo certo de regra de alerta.
Para obter exemplos de alertas comuns para recursos do Azure, consulte Exemplo de consultas de alerta de log.
Implementando alertas em escala
Para alguns serviços, você pode monitorar em escala aplicando a mesma regra de alerta de métrica a vários recursos do mesmo tipo que existem na mesma região do Azure. Os AMBA (Alertas de Linha de Base do Azure Monitor) são um jeito semiautomatizado de implementar alertas de métrica de plataforma importantes, painéis e diretrizes em escala.
Obter recomendações personalizadas usando o Assistente do Azure
Para alguns serviços, se ocorrerem condições críticas ou alterações iminentes durante as operações de recurso, um alerta será exibido na página visão geral do serviço no portal. Você pode encontrar mais informações e correções recomendadas para o alerta em Recomendações do Assistente sob Monitoramento no menu à esquerda. Durante as operações normais, nenhuma recomendação do consultor é exibida.
Para obter mais informações sobre o Assistente do Azure, consulte visão geral do Assistente do Azure.