Compartilhar via

Consulta logs do Azure Monitor para monitorar clusters do HDInsight

  • Artigo

Saiba mais sobre alguns cenários básicos de como usar o Azure Monitor para monitorar os clusters Azure HDInsight:

Observação

Este artigo foi atualizado recentemente para usar o termo logs do Azure Monitor em vez de Log Analytics. Os dados de log ainda são armazenados em um espaço de trabalho do Log Analytics e ainda são coletados e analisados pelo mesmo serviço do Log Analytics. Estamos atualizando a terminologia para refletir melhor a função dos logs no Azure Monitor. Confira as alterações de terminologia do Azure Monitor para obter detalhes.

Pré-requisitos

Você deve ter configurado um cluster HDInsight para usar logs do Azure Monitor e adicionar ao espaço de trabalho soluções de monitoramento de logs do Azure Monitor específicas do cluster HDInsight. Para obter instruções, veja Usar os logs do Azure Monitor com clusters HDInsight.

Analisar métricas de cluster HDInsight

Saiba como procurar métricas específicas para seu cluster HDInsight.

  1. Abra o espaço de trabalho do Log Analytics que está associado ao seu cluster HDInsight do portal do Azure.

  2. Em Geral, selecione Logs.

  3. Digite a consulta a seguir na caixa de pesquisa para procurar todas as métricas disponíveis para todos os clusters HDInsight configurados para usar os logs do Azure Monitor e pressione Executar. Revise os resultados.

    search *

    Pesquisar todas as métricas na análise do Apache Ambari.

  4. No menu esquerdo, selecione a guia Filtro.

  5. Em Tipo, selecione Pulsação. Em seguida, selecione Aplicar e Executar.

    métricas específicas da pesquisa de análise de logs.

  6. Veja que a consulta na caixa de texto muda para:

    search *
| where Type == "Heartbeat"

  7. Você pode se aprofundar usando as opções do menu esquerdo. Por exemplo:

    • Para ver logs de um nó específico:

      Pesquisar output1 de erros específicos.

    • Para ver logs em certos momentos:

      Pesquisar erros específicos de output2.

  8. Selecione Aplicar e Executar e observe os resultados. Veja também que a consulta foi atualizada para:

    search *
| where Type == "Heartbeat"
| where (Computer == "zk2-myhado") and (TimeGenerated == "2019-12-02T23:15:02.69Z" or TimeGenerated == "2019-12-02T23:15:08.07Z" or TimeGenerated == "2019-12-02T21:09:34.787Z")

Consultas de exemplo adicionais

Uma consulta de amostra com base na média de recursos usados em um intervalo de 10 minutos, classificados por nome do cluster:

search in (metrics_resourcemanager_queue_root_default_CL) * 
| summarize AggregatedValue = avg(UsedAMResourceMB_d) by ClusterName_s, bin(TimeGenerated, 10m)

Em vez de refinar com base na média de recursos usados, é possível usar a seguinte consulta para refinar os resultados com base em quando os recursos máximos foram usados (assim como o 90º e o 95º percentil) em uma janela de 10 minutos:

search in (metrics_resourcemanager_queue_root_default_CL) * 
| summarize ["max(UsedAMResourceMB_d)"] = max(UsedAMResourceMB_d), ["pct95(UsedAMResourceMB_d)"] = percentile(UsedAMResourceMB_d, 95), ["pct90(UsedAMResourceMB_d)"] = percentile(UsedAMResourceMB_d, 90) by ClusterName_s, bin(TimeGenerated, 10m)

Criar alertas para eventos de rastreamento

A primeira etapa para criar um alerta é chegar a uma consulta com base na qual o alerta é disparado. É possível usar qualquer consulta que você desejar para criar um alerta.

  1. Abra o espaço de trabalho do Log Analytics que está associado ao seu cluster HDInsight do portal do Azure.

  2. Em Geral, selecione Logs.

  3. Execute a consulta a seguir na qual você quer criar um alerta e, em seguida, pressione Executar.

    metrics_resourcemanager_queue_root_default_CL | where AppsFailed_d > 0

    A consulta fornece uma lista de aplicativos com falha em execução em clusters de HDInsight.

  4. Selecione Nova Regra de Alerta no topo da página.

    Nova regra de alerta.

  5. Na janela Criar regra, digite a consulta e outros detalhes para criar um alerta e, em seguida, selecione Criar regra de alerta.

    Definir a condição de alerta.

Editar ou excluir um alerta existente

  1. Abra o espaço de trabalho do Log Analytics no portal do Azure.

  2. No menu esquerdo, em Monitoramento, selecione Alertas.

  3. Na parte superior, selecione Gerenciar regras de alerta.

  4. Selecione o alerta que você deseja editar ou excluir.

  5. Você tem as seguintes opções: Salvar, Descartar, Desabilitar, e Excluir.

    Edição de exclusão de alertas dos logs do Azure Monitor no HDInsight.

Para obter mais informações, confira Criar, exibir e gerenciar alertas de métrica usando o Azure Monitor.

Confira também