Monitorizar com o Azure Managed Prometheus e o Grafana

Artigo
10/16/2024

Nota

Vamos desativar o Azure HDInsight no AKS em 31 de janeiro de 2025. Antes de 31 de janeiro de 2025, você precisará migrar suas cargas de trabalho para o Microsoft Fabric ou um produto equivalente do Azure para evitar o encerramento abrupto de suas cargas de trabalho. Os clusters restantes na sua subscrição serão interrompidos e removidos do anfitrião.

Apenas o apoio básico estará disponível até à data da reforma.

Importante

Esta funcionalidade está atualmente em pré-visualização. Os Termos de Utilização Suplementares para Pré-visualizações do Microsoft Azure incluem mais termos legais que se aplicam a funcionalidades do Azure que estão em versão beta, em pré-visualização ou ainda não disponibilizadas para disponibilidade geral. Para obter informações sobre essa visualização específica, consulte Informações de visualização do Azure HDInsight no AKS. Para perguntas ou sugestões de recursos, envie uma solicitação no AskHDInsight com os detalhes e siga-nos para obter mais atualizações na Comunidade do Azure HDInsight.

O monitoramento de clusters e serviços é parte integrante de qualquer organização. O Azure HDInsight no AKS vem com experiência de monitoramento integrada com os serviços do Azure. Neste artigo, usamos o serviço gerenciado Prometheus com painéis do Azure Grafana para monitoramento.

O Azure Managed Prometheus é um serviço que monitoriza os seus ambientes na nuvem. O monitoramento é para manter sua disponibilidade e métricas de desempenho e carga de trabalho. Ele coleta dados gerados por recursos em suas instâncias do Azure e de outras ferramentas de monitoramento. Os dados são usados para fornecer análises em várias fontes.

O Azure Managed Grafana é uma plataforma de visualização de dados criada sobre o software Grafana da Grafana Labs. É um serviço do Azure totalmente gerido operado e suportado pela Microsoft. O Grafana ajuda você a reunir métricas, logs e rastreamentos em uma única interface de usuário. Com o seu amplo suporte para origes de dados e recursos gráficos, pode visualizar e analisar os dados de telemetria das suas aplicações e infraestrutura em tempo real.

Este artigo aborda os detalhes da ativação do recurso de monitoramento no HDInsight no AKS.

Pré-requisitos

Um espaço de trabalho do Azure Managed Prometheus. Você pode pensar nesse espaço de trabalho como um ambiente de logs exclusivo do Azure Monitor com seu próprio repositório de dados, fontes de dados e soluções. Para obter instruções, consulte Criar um espaço de trabalho do Azure Managed Prometheus.
Espaço de trabalho do Azure Managed Grafana. Para obter instruções, consulte Criar um espaço de trabalho do Azure Managed Grafana.
Um HDInsight no cluster AKS. Atualmente, você pode usar o Azure Managed Prometheus com o seguinte HDInsight em tipos de cluster AKS:
- Faísca™ Apache
- Apache Flink®
- Trino

Para obter instruções sobre como criar um cluster HDInsight no AKS, consulte Introdução ao Azure HDInsight no AKS.

Habilitando o Azure Managed Prometheus e o Grafana

O Azure Managed Prometheus e o Grafana Monitoring devem ser configurados no nível do pool de clusters para habilitá-lo no nível do cluster. Você precisa considerar vários estágios ao habilitar a Solução de Monitoramento.

#	Cenário	Ativar	Desativar
1	Pool de clusters - Durante a criação	`Not Supported`	`Default`
2	Pool de Clusters – Pós-Criação	`Supported`	`Not Supported`
3	Cluster – Durante a Criação	`Supported`	`Default`
4	Cluster – Pós-Criação	`Supported`	`Supported`

Durante a criação do pool de clusters

Atualmente, o Managed Prometheus NÃO pode ser habilitado durante o tempo de criação do Pool de Clusters. Você pode configurá-lo após a criação do pool de clusters.

Pós-criação de pool de clusters

O monitoramento pode ser habilitado na guia Integrações em um Modo de Exibição do Pool de Clusters existente disponível no portal do Azure. Você pode usar espaços de trabalho pré-criados ou criar um novo enquanto configura o monitoramento para o pool de clusters.

Usar espaço de trabalho pré-criado

Clique em configurar para habilitar o monitoramento do Azure Prometheus.
Clique em Configurações avançadas para anexar seus espaços de trabalho pré-criados.

Criar o Azure Prometheus e o Grafana Workspace enquanto habilita o monitoramento no pool de clusters

Você pode criar os espaços de trabalho a partir do HDI na página do pool de clusters AKS.

Clique em Configurar ao lado da opção Azure Prometheus.
Clique em Criar novo espaço de trabalho para o Azure Managed Prometheus.
Preencha o nome, região e clique em Criar para Prometheus.
Clique em Criar novo espaço de trabalho para o Azure Managed Grafana.
Preencha Nome, Região e clique em Criar para Grafana.
Nota
1. O Managed Grafana só pode ser ativado se o Managed Prometheus estiver ativado.
2. Depois que o espaço de trabalho do Azure Managed Prometheus e o espaço de trabalho do Azure Managed Grafana forem habilitados a partir do HDInsight no pool de clusters AKS, ele não poderá ser desabilitado do pool de clusters novamente. Ele deve ser desabilitado no nível do cluster.

Durante a criação do cluster

Habilitar o Azure Managed Prometheus durante a criação do cluster

Depois que o pool de clusters for criado e o Azure Managed Prometheus habilitado, o usuário deverá criar um HDI no cluster AKS no mesmo pool de clusters.
Durante o processo de criação do cluster, navegue até a página Integração e habilite o Azure Prometheus.

Pós criação de cluster

Você também pode habilitar o Azure Managed Prometheus pós HDI na criação de cluster AKS

Navegue até a guia Integrações na página do cluster.
Habilite o Azure Prometheus Monitoring com o botão de alternância e clique em Salvar.

Nota

Da mesma forma, se você precisar desabilitar o Azure Prometheus, o monitoramento pode ser feito desativando o botão de alternância e clicando em Salvar.

Ativando as permissões necessárias

Para exibir o Azure Managed Prometheus e o Azure Managed Grafana a partir do HDInsight no portal AKS, você precisa ter determinadas permissões da seguinte maneira.

Permissão do usuário: para exibir o Azure Managed Grafana, a função "Visualizador do Grafana" é necessária para o usuário no espaço de trabalho do Azure Managed Grafana, Controle de acesso (IAM). Veja como conceder acesso ao usuário, aqui.

Abra o espaço de trabalho Grafana configurado no pool de clusters.
Selecione a função como Grafana Viewer
Selecione o nome de usuário que está acessando o painel do Grafana.
Selecione o usuário e clique em Rever+ Atribuir

Nota

Se o usuário estiver pré-criando o Azure Managed Prometheus, a Identidade Grafana exigirá permissão adicional do Monitoring Reader.
Na página do espaço de trabalho Grafana (aquela vinculada ao cluster) fornece permissão de leitor de monitoramento na guia Identidade.
Clique em Adicionar atribuição de função.
Selecione os seguintes parâmetros
1. Âmbito como Subscrição
2. O nome da assinatura.
3. Papel como Leitor de Monitoramento
Nota

Para visualizar outras funções para usuários do Grafana, veja aqui.

Ver métricas

Estamos usando um cluster Apache Spark™ como exemplo neste caso, supondo que poucos trabalhos sejam executados no cluster, a fim de ter as métricas.

Analise as seguintes etapas para usar os modelos de exemplo do Grafana:

Faça o download do modelo de exemplo aqui para as respetivas cargas de trabalho (baixe o modelo Apache Spark neste caso).
Faça login no Painel do Grafana a partir do seu cluster.
Assim que a página do Painel do Grafana for aberta, clique em Nova > Importação
Clique no arquivo JSON Upload Dashboard e carregue o modelo Apache Spark Grafana que você baixou e clique em Importar.
Após a conclusão do upload, você pode clicar no painel para visualizar as métricas.