Monitoramento com o Prometheus e o Grafana Gerenciados pelo Azure

Artigo
09/20/2024

Observação

Desativaremos o Microsoft Azure HDInsight no AKS em 31 de janeiro de 2025. Para evitar o encerramento abrupto das suas cargas de trabalho, você precisará migrá-las para o Microsoft Fabric ou para um produto equivalente do Azure antes de 31 de janeiro de 2025. Os clusters restantes em sua assinatura serão interrompidos e removidos do host.

Somente o suporte básico estará disponível até a data de desativação.

Importante

Esse recurso está atualmente na visualização. Os Termos de uso complementares para versões prévias do Microsoft Azure incluem mais termos legais que se aplicam aos recursos do Azure que estão em versão beta, em versão prévia ou ainda não lançados em disponibilidade geral. Para obter informações sobre essa versão prévia específica, confira Informações sobre a versão prévia do Azure HDInsight no AKS. No caso de perguntas ou sugestões de recursos, envie uma solicitação no AskHDInsight com os detalhes e siga-nos para ver mais atualizações sobre a Comunidade do Azure HDInsight.

O monitoramento de cluster e de serviço é parte integrante de qualquer organização. O Azure HDInsight no AKS vem com a experiência de monitoramento integrada com os serviços do Azure. Neste artigo, usamos o serviço Espaço Gerenciado para Prometheus com painéis do Grafana do Azure para monitoramento.

O Espaço Gerenciado do Azure para Prometheus é um serviço que monitora seus ambientes de nuvem. O objetivo do monitoramento é manter a disponibilidade, o desempenho e as métricas de carga de trabalho desses ambientes. Ele coleta dados gerados pelos recursos em instâncias do Azure e de outras ferramentas de monitoramento. Os dados são usados para fornecer análise para várias fontes.

O Espaço Gerenciado do Azure para Grafana é uma plataforma de visualização de dados criada com base no software Grafana da Grafana Labs. Ele é criado como um serviço totalmente gerenciado do Azure operado e com suporte da Microsoft. O Grafana ajuda você a reunir métricas, logs e rastreamentos em uma única interface do usuário. Com seu amplo suporte para fontes de dados e recursos de grafo, você pode exibir e analisar seus dados de telemetria de aplicativo e infraestrutura em tempo real.

Este artigo aborda os detalhes da habilitação do recurso de monitoramento no HDInsight no AKS.

Pré-requisitos

Um workspace do Espaço Gerenciado do Azure para Prometheus. É possível pensar neste workspace como um ambiente exclusivo de logs do Azure Monitor com seu próprio repositório de dados, fontes de dados e soluções. Para ver as instruções, confira Criar um workspace do Espaço Gerenciado do Azure para Prometheus.
Um workspace do Espaço Gerenciado do Azure para Grafana. Para ver as instruções, confira Criar um workspace do Espaço Gerenciado do Azure para Grafana.
Um cluster do HDInsight no AKS. No momento, é possível usar Espaço Gerenciado do Azure para Prometheus com os seguintes tipos de cluster do HDInsight no AKS:
- Apache Spark™
- Apache Flink®
- Trino

Para obter instruções sobre como criar um cluster do HDInsight no AKS, consulte Introdução ao Azure HDInsight no AKS.

Habilitar o Espaço Gerenciado do Azure para Prometheus e Grafana

O Monitoramento do Espaço Gerenciado do Azure para Prometheus e Grafana precisa ser configurado no nível do pool de clusters para habilitá-lo no nível do cluster. Você precisa considerar várias fases ao habilitar a solução de Monitoramento.

#	Cenário	Habilitar	Desabilitar
1	Pool de clusters – durante a criação	`Not Supported`	`Default`
2	Pool de clusters – após a criação	`Supported`	`Not Supported`
3	Cluster – durante a criação	`Supported`	`Default`
4	Cluster – após a criação	`Supported`	`Supported`

Durante a criação do pool de clusters

Atualmente, o Espaço Gerenciado para Prometheus NÃO PODE ser habilitado durante a criação do pool de clusters. Você pode configurá-lo após a criação do pool de clusters.

Após a criação do pool de clusters

O monitoramento pode ser habilitado na guia Integrações em uma exibição do pool de clusters existente disponível no portal do Azure. Você pode usar workspaces pré-criados ou criar um novo enquanto está configurando o monitoramento para o pool de clusters.

Usar um workspace pré-criado

Clique em configurar para habilitar o monitoramento do Azure Prometheus.
Clique em Configurações avançadas para anexar seus workspaces pré-criados.

Criar o workspace do Azure Prometheus e Grafana ao habilitar o monitoramento no pool de clusters

Você pode criar os workspaces a partir do HDI na página do pool de clusters do AKS.

Clique em Configurar ao lado da opção Azure Prometheus.
Clique em Criar novo workspace para o Espaço Gerenciado do Azure para Prometheus.
Preencha o nome, a região e clique em Criar para Prometheus.
Clique em Criar novo workspace para o Espaço Gerenciado do Azure para Grafana.
Preencha o nome, a região e clique em Criar para o Grafana.
Observação
1. O Espaço Gerenciado para Grafana só poderá ser habilitado se o Espaço Gerenciado para Prometheus estiver habilitado.
2. Depois que o workspace do Espaço Gerenciado do Azure para Prometheus e o workspace do Espaço Gerenciado do Azure para Grafana estiverem habilitados no pool de clusters do HDInsight no AKS, ele não poderá ser desabilitado do pool de clusters novamente. Ele precisa ser desabilitado do nível do cluster.

Durante a criação do cluster

Habilitar o Espaço Gerenciado do Azure para Prometheus durante a criação do cluster

Depois que o pool de clusters for criado e o Espaço Gerenciado do Azure para Prometheus habilitado, o usuário precisará criar um cluster do HDI no AKS no mesmo pool de clusters.
Durante o processo de criação do cluster, navegue até a página Integração e habilite o Azure Prometheus.

Pós-criação de cluster

Você também pode habilitar o Espaço Gerenciado do Azure para Prometheus pós-criação de cluster HDI no AKS

Navegue até a guia Integrações na página do cluster.
Habilite o Monitoramento do Azure Prometheus com o botão de alternância e clique em Salvar.

Observação

Da mesma forma, se você precisar desabilitar o monitoramento do Azure Prometheus pode ser feito desabilitando o botão de alternância e clicando em Salvar.

Como habilitar as permissões necessárias

Para exibir o Espaço Gerenciado do Azure para Prometheus e o Espaço Gerenciado do Azure para Grafana por meio do portal do HDInsight no AKS, você precisa ter certas permissões, conforme descrito a seguir.

Permissão do usuário: para exibir o Espaço Gerenciado do Azure para Grafana, a função “Visualizador” do Grafana é necessária para o usuário no workspace do Espaço Gerenciado do Azure para Grafana, controle de acesso (IAM). Veja aqui como permitir acesso ao usuário.

Abra o workspace do Grafana configurado no pool de clusters.
Selecione a Função como visualizador do Grafana
Selecione o nome de usuário que está acessando o painel do Grafana.
Selecione o usuário e clique em Examinar + atribuir

Observação

Se o usuário estiver criando previamente o Espaço Gerenciado do Azure para Prometheus, a Identidade do Grafana exigirá permissão adicional do Leitor de Monitoramento.
A página do workspace do Grafana (aquela vinculada ao cluster) fornece permissão de Leitor de monitoramento na guia Identidade.
Clique em Adicionar atribuição de função.
Selecione os seguintes parâmetros:
1. Escopo como Assinatura
2. O nome da assinatura.
3. Função como Leitor de monitoramento
Observação

Conheça aqui outras funções para usuários do Grafana.

Exibir métricas

Nesse caso, estamos usando um cluster Apache Spark™ como exemplo, supondo que poucos trabalhos sejam executados no cluster para se ter as métricas.

Examine as seguintes etapas para usar os modelos de exemplo do Grafana:

Baixe o modelo de exemplo de aqui para as respectivas cargas de trabalho (baixe o modelo do Apache Spark nesse caso).
Faça logon no Painel do Grafana do seu cluster.
Depois que a página Painel do Grafana for aberta, clique em Nova > Importação
Clique no arquivo JSON do Painel de Carregamento e carregue o modelo do Apache Spark Grafana que você baixou e clique em Importar.
Depois que o upload for concluído, você poderá clicar no painel para exibir as métricas.