Consultar os registos do Azure Monitor para monitorizar os clusters do HDInsight
Saiba alguns cenários básicos sobre como usar os logs do Azure Monitor para monitorar clusters do Azure HDInsight:
Nota
Este artigo foi atualizado recentemente para usar o termo logs do Azure Monitor em vez de Log Analytics. Os dados de log ainda são armazenados em um espaço de trabalho do Log Analytics e ainda são coletados e analisados pelo mesmo serviço do Log Analytics. Estamos atualizando a terminologia para refletir melhor a função dos logs no Azure Monitor. Consulte Alterações de terminologia do Azure Monitor para obter detalhes.
Pré-requisitos
Você deve ter configurado um cluster HDInsight para usar logs do Azure Monitor e adicionado as soluções de monitoramento de logs do Azure Monitor específicas do cluster HDInsight ao espaço de trabalho. Para obter instruções, consulte Usar logs do Azure Monitor com clusters HDInsight.
Analise as métricas de cluster do HDInsight
Saiba como procurar métricas específicas para o cluster HDInsight.
Abra o espaço de trabalho do Log Analytics associado ao cluster HDInsight no portal do Azure.
Em Geral, selecione Registos.
Digite a seguinte consulta na caixa de pesquisa para pesquisar todas as métricas disponíveis para todos os clusters HDInsight configurados para usar logs do Azure Monitor e selecione Executar. Reveja os resultados.
search *
No menu à esquerda, selecione a guia Filtro .
Em Tipo, selecione Pulsação. Em seguida, selecione Aplicar & Executar.
Observe que a consulta na caixa de texto muda para:
search * | where Type == "Heartbeat"Você pode cavar mais fundo usando as opções disponíveis no menu à esquerda. Por exemplo:
Para ver os logs de um nó específico:
Para ver os logs em determinados horários:
Selecione Aplicar & Executar e revise os resultados. Observe também que a consulta foi atualizada para:
search * | where Type == "Heartbeat" | where (Computer == "zk2-myhado") and (TimeGenerated == "2019-12-02T23:15:02.69Z" or TimeGenerated == "2019-12-02T23:15:08.07Z" or TimeGenerated == "2019-12-02T21:09:34.787Z")
Consultas de exemplo adicionais
Uma consulta de exemplo baseada na média de recursos usados em um intervalo de 10 minutos, categorizada por nome de cluster:
search in (metrics_resourcemanager_queue_root_default_CL) *
| summarize AggregatedValue = avg(UsedAMResourceMB_d) by ClusterName_s, bin(TimeGenerated, 10m)
Em vez de refinar com base na média dos recursos usados, você pode usar a seguinte consulta para refinar os resultados com base em quando os recursos máximos foram usados (bem como percentis 90 e 95) em uma janela de 10 minutos:
search in (metrics_resourcemanager_queue_root_default_CL) *
| summarize ["max(UsedAMResourceMB_d)"] = max(UsedAMResourceMB_d), ["pct95(UsedAMResourceMB_d)"] = percentile(UsedAMResourceMB_d, 95), ["pct90(UsedAMResourceMB_d)"] = percentile(UsedAMResourceMB_d, 90) by ClusterName_s, bin(TimeGenerated, 10m)
Criar alertas para rastrear eventos
A primeira etapa para criar um alerta é chegar a uma consulta com base na qual o alerta é acionado. Você pode usar qualquer consulta que queira criar um alerta.
Abra o espaço de trabalho do Log Analytics associado ao cluster HDInsight no portal do Azure.
Em Geral, selecione Registos.
Execute a seguinte consulta na qual pretende criar um alerta e, em seguida, selecione Executar.
metrics_resourcemanager_queue_root_default_CL | where AppsFailed_d > 0A consulta fornece uma lista de aplicativos com falha em execução em clusters HDInsight.
Selecione Nova regra de alerta na parte superior da página.
Na janela Criar regra, insira a consulta e outros detalhes para criar um alerta e selecione Criar regra de alerta.
Editar ou eliminar um alerta existente
Abra o espaço de trabalho do Log Analytics no portal do Azure.
No menu à esquerda, em Monitoramento, selecione Alertas.
Na parte superior, selecione Gerenciar regras de alerta.
Selecione o alerta que deseja editar ou excluir.
Você tem as seguintes opções: Salvar, Descartar, Desabilitar e Excluir.
Para obter mais informações, consulte Criar, exibir e gerenciar alertas métricos usando o Azure Monitor.