Insights de Clusters Data Explorer do Azure
O Azure Data Explorer Clusters Insights fornece um monitoramento abrangente de seus clusters fornecendo uma exibição unificada do desempenho, das operações, do uso e das falhas do cluster.
Ele oferece:
- Perspectiva em escala. Uma exibição rápida das métricas principais do seus clusters para rastrear facilmente o desempenho de consultas, ingestão e operações de exportação.
- Análise detalhada. Você pode fazer uma análise detalhada de um cluster específico do Azure Data Explorer para ajudar a executar uma análise detalhada.
- Personalização. Você pode mudar quais métricas deseja ver, além de modificar ou definir limites que se alinhem aos seus e salvar suas próprias pastas de trabalho. Os gráficos na pasta de trabalho podem ser fixados a painéis do Azure.
Este artigo ajudará você a entender como integrar e usar o Azure Data Explorer Clusters Insights.
Exibir a partir do Azure Monitor (perspectiva em escala)
No Azure Monitor, você pode exibir as principais métricas de desempenho para o cluster. Essas métricas incluem informações sobre consultas, ingestão e operações de exportação de vários clusters em sua assinatura. Elas podem ajudá-lo a identificar problemas de desempenho.
Para exibir o desempenho dos seus clusters em todas as suas assinaturas:
Entre no portal do Azure.
Selecione Monitor no painel esquerdo. Na seção Hub de informações, selecione Clusters do Azure Data Explorer.
Guia de visão geral da assinatura
Na guia Visão geral da assinatura selecionada, a tabela exibe métricas interativas dos clusters do Azure Data Explorer agrupados na assinatura. Você pode filtrar os resultados com base nas opções selecionadas nas seguintes listas suspensas:
Assinaturas: são listadas somente as assinaturas que têm clusters do Azure Data Explorer.
Clusters do Azure Data Explorer: por padrão, são pré-selecionados até cinco clusters. Se você selecionar todos ou vários cluster no seletor de escopo, até 200 clusters serão retornados.
Intervalo de tempo: por padrão, exibe as últimas 24 horas de informações com base nas seleções correspondentes feitas.
O bloco contador, que fica nas listas suspensas, indica o número total de clusters do Azure Data Explorer nas assinaturas selecionadas e mostra quantos foram selecionados. Há codificações de cores condicionais para as colunas: Keep alive, CPU, Utilização de ingestão e Utilização de cache. As células codificadas em laranja têm valores que não são sustentáveis para o cluster.
Para entender melhor o que cada métrica representa, recomendamos ler a documentação sobre Métricas do Azure Data Explorer.
Guia Desempenho de consulta
A guia Desempenho da consulta mostra a duração da consulta, o número total de consultas simultâneas e o número total de consultas limitadas.
Guia Desempenho de ingestão
A guia Desempenho da ingestão mostra a latência de ingestão, os resultados de ingestões com êxito, resultados de ingestões com falha, volume de ingestões e eventos processados para hubs de eventos e hubs IoT.
Guia Desempenho de ingestão de streaming
A guia Desempenho da ingestão de streaming fornece informações sobre a taxa média de dados, a duração média e a taxa de solicitação.
Guia Desempenho de exportação
A guia Desempenho de exportação fornece informações sobre registros exportados, atrasos, contagens pendentes e porcentagens de utilização para operações de exportação contínua.
Exibir a partir de um recurso de cluster do Azure Data Explorer (análise de busca detalhada)
Para acessar o Azure Data Explorer Clusters Insights diretamente de um cluster de Data Explorer do Azure:
No portal do Azure, selecione Clusters do Azure Data Explorer.
Na lista, escolha um cluster do Azure Data Explorer. Na seção de monitoramento, selecione Informações.
Você também pode acessar essas exibições selecionando o nome do recurso de um cluster do Azure Data Explorer de dentro da exibição insights do Azure Monitor.
Observação
O Azure Data Explorer Clusters Insights combina logs e métricas para fornecer uma solução de monitoramento global. A inclusão de visualizações baseadas em logs requer que os usuários habilitem o log de diagnóstico do seu cluster do Azure Data Explorer e os enviem a um workspace do Log Analytics. Os logs de diagnóstico que devem ser habilitados são: Command, Query, SucceededIngestion, FailedIngestion, IngestionBatching, TableDetails, e TableUsageStatistics. (Habilitar logs de SucceededIngestion pode ser dispendioso. Habilite-os somente se você precisar monitorar as ingestões bem-sucedidas.)
Guia Visão Geral
A guia Visão geral mostra:
Blocos de métricas que destacam a disponibilidade e o status geral do cluster para avaliação de integridade rápida.
Um resumo das Recomendações do Assistente do Azure ativas e do status de integridade do recurso.
Gráficos que mostram os principais consumidores de CPU e memória, além do número de usuários únicos ao longo do tempo.
Guia Métricas-chave
A guia Métricas-chave mostra uma exibição unificada de algumas das métricas do cluster. Elas são agrupadas em métricas gerais, métricas relacionadas à consulta, métricas relacionadas à ingestão e métricas relacionadas à ingestão de streaming.
Guia Uso
A guia Uso permite que os usuários se aprofundem no desempenho dos comandos e consultas do cluster. Nessa guia, é possível:
- Veja quais grupos de carga de trabalho, usuários e aplicativos estão enviando a maioria das consultas ou consumindo mais CPU e memória. Assim, você poderá entender quais cargas de trabalho estão enviando as consultas mais pesadas para o cluster processar.
- Identificar os principais grupos de carga de trabalho, usuários e aplicativos com base em consultas com falha.
- Identificar alterações recentes no número de consultas, em comparação com a média diária histórica (dos últimos 16 dias), por grupo de carga de trabalho, usuário e aplicativo.
- Identificar tendências e picos no número de consultas, memória e consumo de CPU por grupo de carga de trabalho, usuário, aplicativo e tipo de comando.
A guia Uso inclui ações que são executadas diretamente pelos usuários. As operações internas do cluster não estão incluídas nessa guia.
Guia Tabelas
A guia Tabelas mostra as propriedades históricas e mais recentes das tabelas no cluster. Você pode ver quais tabelas estão consumindo mais espaço. Também é possível acompanhar o histórico de crescimento por tamanho de tabela, os dados de acesso frequente e o número de linhas ao longo do tempo.
Guia Cache
A guia Cache permite que os usuários analisem os padrões da janela de pesquisa de consultas reais e os comparem com a política de cache configurada (de cada tabela). Você pode identificar as tabelas usadas pela maioria das consultas e tabelas que nem são consultadas e adaptar a política de cache de acordo.
Você pode obter recomendações de política de cache em tabelas específicas no Assistente do Azure. Atualmente, as recomendações de cache estão disponíveis somente no painel principal do Assistente do Azure. Elas se baseiam na janela de retrospectiva de consultas reais nos últimos 30 dias e uma política de cache não otimizada para pelo menos 95% das consultas.
As recomendações de redução do cache no Assistente do Azure estão disponíveis para clusters que sejam "limitados por dados". Isso significa que o cluster tem baixa utilização de CPU e de ingestão, mas, devido à alta capacidade de dados, o cluster não pode reduzir verticalmente/horizontalmente.
Guia Limites do cluster
A guia Limites do cluster exibe os limites do cluster com base no seu uso. Nessa guia, você pode inspecionar a utilização da CPU, de ingestão e de cache. Essas métricas são classificadas como Baixa, Média ou Alta. Essas métricas e pontuações são importantes quando você está decidindo a SKU ideal e a contagem de instâncias para o seu cluster. Elas são levadas em conta nas recomendações de tamanho/SKU do Assistente do Azure.
Nessa guia, você pode selecionar um bloco de métrica e aprofundar-se para entender sua tendência e como sua pontuação é decidida. Você também pode exibir a recomendação de SKU/tamanho do Assistente do Azure do seu cluster. Por exemplo, na imagem a seguir, você pode ver que todas as métricas são pontuadas como Baixas. O cluster recebe uma recomendação de custo que permitirá você reduzir horizontalmente/verticalmente e economizar custos.
Guia Ingestão (guia de pré-visualização)
A guia Ingestão permite monitorar o status de operações de ingestão na fila para o cluster.
No processo de ingestão na fila , a ingestão de dados é otimizada para alta taxa de transferência. Isso é feito agrupando pequenas partes de dados de entrada em lotes com base em uma política de envio em lote de ingestão configurável.
A guia Ingestão fornece informações detalhadas sobre o seguinte:
- O resultado da ingestão na fila, por granularidade de banco de dados ou tabela.
- Detalhes do erro de ingestão por tabela.
- O volume de dados ingeridos.
- A latência da ingestão na fila e onde ela ocorre.
- O próprio processo de envio em lote, incluindo informações de monitoramento sobre a política de envio em lote de ingestão e como os lotes foram selados.
- Para Hubs de Eventos, Grade de Eventos e ingestões de Hub IoT: o número de eventos recebidos no cluster e o número de eventos enviados para ingestão real.
Fixar no painel do Azure
Você pode fixar qualquer uma das seções de métrica (da “perspectiva em escala”) em um painel do Azure ao selecionar o ícone de pino na parte superior direita da seção.
Personalizar o Azure Data Explorer Clusters Insights
Você pode editar a pasta de trabalho para personalizá-la para dar suporte as suas necessidades de análise de dados:
- Criar um escopo da pasta de trabalho para selecionar sempre uma assinatura específica ou clusters do Azure Data Explorer.
- Alterar as métricas na grade.
- Alterar limites ou renderização/codificação por cores.
Você pode iniciar as personalizações habilitando o modo de edição e selecionando o botão Personalizar na barra de ferramentas superior.
As personalizações são salvas em uma pasta de trabalho personalizada para evitar a substituição da configuração padrão em uma pasta de trabalho publicada. As pastas de trabalho são salvas em um grupo de recursos, seja na seção Meus Relatórios, que é particular a você, ou na seção Relatórios Compartilhados, que é acessível a todos com acesso ao grupo de recursos. Depois de salvar uma pasta de trabalho personalizada, acesse a galeria de pastas de trabalho para abri-la.
Solução de problemas
Para obter diretrizes gerais de solução de problemas, consulte Solução de problemas de insights baseados em pasta de trabalho.
As seções a seguir ajudarão você a diagnosticar e solucionar alguns dos problemas comuns que você pode encontrar ao usar o Azure Data Explorer Clusters Insights.
Por que não posso ver todas as minhas assinaturas no seletor de assinatura?
mostra apenas assinaturas que contêm clusters de Data Explorer do Azure escolhidos no filtro de assinatura selecionado. Selecione um filtro de assinatura em Diretório + assinatura no portal do Azure.
Por que não vejo nenhum dado para meu cluster do Azure Data Explorer nas seções Uso, Tabelas ou Cache?
Para exibir os dados baseados em logs, é necessário habilitar os logs de diagnóstico para cada cluster do Azure Data Explorer que você deseja monitorar. Isso pode ser feito nas configurações de diagnóstico para cada cluster. É necessário enviar os dados para um workspace do Log Analytics. Os logs de diagnóstico que devem ser habilitados são: Command, Query, TableDetails, e TableUsageStatistics.
Já habilitei os logs para meu cluster do Azure Data Explorer. Por que ainda não consigo ver meus dados em Comandos e Consultas?
Atualmente, os logs de diagnóstico não funcionam retroativamente. Os dados começarão a aparecer depois que as ações foram realizadas pelo Azure Data Explorer. Pode levar algum tempo, variando de horas a um dia, dependendo do volume de atividade do seu cluster do Azure Data Explorer.
Observação
No portal do Azure, os dados brutos de métricas das páginas Métricas e Insights são armazenados no Azure Monitor. As consultas nessas páginas consultam diretamente os dados de métricas brutas para fornecer os resultados mais precisos. Ao usar a funcionalidade de configurações de diagnóstico, você pode migrar os dados brutos de métricas para o workspace do Log Analytics. Durante a migração, a precisão de alguns dados pode ser perdida devido ao arredondamento; portanto, os resultados da consulta podem variar ligeiramente dos dados originais. A margem de erro é inferior a um por cento.