Monitoramento com o Azure Managed Prometheus e o Grafana

Artigo
09/20/2024

Importante

O Azure HDInsight no AKS foi desativado em 31 de janeiro de 2025. Saiba mais com este anúncio informativo.

Você precisa migrar suas cargas de trabalho para Microsoft Fabric ou um produto equivalente do Azure para evitar o encerramento abrupto de suas cargas de trabalho.

Importante

Esta funcionalidade está atualmente em pré-visualização. Os Termos de Utilização Suplementares para Pré-visualizações do Microsoft Azure incluem mais termos legais que se aplicam a funcionalidades do Azure que estão em versão beta, em pré-visualização ou ainda não lançadas para disponibilidade geral. Para obter informações sobre essa visualização específica, consulte Azure HDInsight no AKS informações de visualização. Para perguntas ou sugestões de recursos, envie uma solicitação no AskHDInsight com os detalhes e siga-nos para obter mais atualizações sobre da Comunidade do Azure HDInsight.

O monitoramento de clusters e serviços é parte integrante de qualquer organização. O Azure HDInsight no AKS vem com experiência de monitoramento integrada com os serviços do Azure. Neste artigo, usamos o serviço gerenciado Prometheus com painéis do Azure Grafana para monitoramento.

Azure Managed Prometheus é um serviço que monitoriza os seus ambientes de nuvem. O monitoramento é para manter sua disponibilidade e métricas de desempenho e carga de trabalho. Ele coleta dados gerados por recursos em suas instâncias do Azure e de outras ferramentas de monitoramento. Os dados são usados para fornecer análises em várias fontes.

Azure Managed Grafana é uma plataforma de visualização de dados construída sobre o software Grafana pela Grafana Labs. Ele foi criado como um serviço do Azure totalmente gerenciado operado e suportado pela Microsoft. O Grafana ajuda você a reunir métricas, logs e rastreamentos em uma única interface de usuário. Com seu amplo suporte para fontes de dados e recursos gráficos, você pode visualizar e analisar seus dados de telemetria de aplicativos e infraestrutura em tempo real.

Este artigo aborda os detalhes da ativação do recurso de monitoramento no HDInsight no AKS.

Pré-requisitos

Um espaço de trabalho do Azure Managed Prometheus. Você pode pensar nesse espaço de trabalho como um ambiente de logs exclusivo do Azure Monitor com seu próprio repositório de dados, fontes de dados e soluções. Para obter instruções, consulte Criar um espaço de trabalho do Azure Managed Prometheus.
Espaço de trabalho do Azure Managed Grafana. Para obter instruções, consulte Criar um espaço de trabalho do Azure Managed Grafana.
Um HDInsight em o cluster AKS. Atualmente, você pode usar o Azure Managed Prometheus com o seguinte HDInsight em tipos de cluster AKS:
- Apache Spark™
- Apache Flink®
- Trino

Para obter instruções sobre como criar um HDInsight no cluster AKS, consulte Introdução ao Azure HDInsight no AKS.

Habilitando o Azure Managed Prometheus e o Grafana

O Azure Managed Prometheus e o Grafana Monitoring devem ser configurados no nível do pool de clusters para habilitá-lo no nível do cluster. Você precisa considerar vários estágios ao habilitar a Solução de Monitoramento.

#	Cenário	Ativar	Desativar
1	Criação do Pool de Clusters nº -During	`Not Supported`	`Default`
2	Pool de Clusters – Pós-Criação	`Supported`	`Not Supported`
3	Cluster – Durante a Criação	`Supported`	`Default`
4	Cluster – Pós-Criação	`Supported`	`Supported`

Durante a criação do pool de clusters

Atualmente, o Managed Prometheus NÃO pode ser habilitado durante a criação do Pool de Clusters. Você pode configurá-lo após a criação do pool de clusters.

Após a criação de pool de clusters

O monitoramento pode ser habilitado na guia Integrações em um Modo de Exibição do Pool de Clusters existente disponível no portal do Azure. Você pode usar espaços de trabalho pré-criados ou criar um novo enquanto configura o monitoramento para o pool de clusters.

Utilizar espaço de trabalho pré-criado

Clique em configura para ativar a monitorização do Azure Prometheus.
Clique em Configurações avançadas para anexar seus espaços de trabalho pré-criados.

Criar o Azure Prometheus e o Grafana Workspace enquanto habilitando a monitorização no pool de clusters

Você pode criar os espaços de trabalho a partir do HDI na página do pool de clusters AKS.

Clique em Configurar ao lado da opção Azure Prometheus.
Clique em Criar novo espaço de trabalho para o Azure Managed Prometheus.
Preencha o nome, região e clique em Criar para Prometheus.
Clique em Criar novo espaço de trabalho para o Azure Managed Grafana.
Preencha Nome, Região e clique em Criar para Grafana.
Observação
1. O Managed Grafana só pode ser ativado se o Managed Prometheus estiver ativado.
2. Depois que o espaço de trabalho do Azure Managed Prometheus e o espaço de trabalho do Azure Managed Grafana forem habilitados a partir do HDInsight no pool de clusters AKS, ele não poderá ser desabilitado do pool de clusters novamente. Deve ser desativado ao nível do cluster.

Durante a criação do cluster

Habilitar o Azure Managed Prometheus durante a criação do cluster

Depois que o pool de clusters for criado e o Azure Managed Prometheus habilitado, o usuário deverá criar um HDI no cluster AKS no mesmo pool de clusters.
Durante o processo de criação do cluster, navegue até à página de Integração e habilite Azure Prometheus.

Após a criação do cluster

Você também pode habilitar o Azure Managed Prometheus após HDI durante a criação do cluster AKS

Navegue até a guia Integrações na página do cluster.
Habilite o monitoramento do Azure Prometheus com o botão de alternância e clique em Guardar.

Observação

Da mesma forma, se for necessário desativar a monitorização do Azure Prometheus, isto pode ser feito desativando o botão de alternância e clicando em Salvar.

Ativando as permissões necessárias

Para exibir o Azure Managed Prometheus e o Azure Managed Grafana a partir do HDInsight no portal AKS, você precisa ter determinadas permissões da seguinte maneira.

Permissão do usuário: para exibir o Azure Managed Grafana, a função "Visualizador do Grafana" é necessária para o usuário no espaço de trabalho do Azure Managed Grafana, Controle de acesso (IAM). Veja como conceder acesso ao usuário, aqui.

Abra o espaço de trabalho Grafana configurado no pool de clusters.
Selecione a função Visualizador do Grafana
Selecione o nome de usuário que está acessando o painel do Grafana.
Selecione o utilizador e clique em Review+ Assign

Observação

Se o utilizador estiver a pré-criar o Azure Managed Prometheus, a Identidade Grafana necessita de permissão adicional do leitor de monitorização Monitoring Reader.
Na página do espaço de trabalho do Grafana (a que está vinculada ao cluster), fornece a permissão de leitor de monitorização na guia Identidade.
Clique em Adicionar atribuição de função.
Selecione os seguintes parâmetros
1. Âmbito de aplicação como Subscrição
2. O nome da assinatura.
3. Função como Leitor de Monitorização
Observação

Para visualizar outras funções para usuários do Grafana, veja aqui.

Ver métricas

Estamos usando um cluster Apache Spark™ como exemplo neste caso, supondo que poucos trabalhos sejam executados no cluster, a fim de ter as métricas.

Analise as seguintes etapas para usar os modelos de exemplo do Grafana:

Faça o download do modelo de exemplo do aqui para as respetivas cargas de trabalho (baixe o modelo Apache Spark neste caso).
Faça login no Painel do Grafana a partir do seu cluster.
Assim que a página do Painel do Grafana for aberta, clique em Novo > Importar
Clique no arquivo JSON do Upload Dashboard, carregue o modelo Grafana do Apache Spark que você baixou e clique em Importar.
Após a conclusão do upload, você pode clicar no painel para visualizar as métricas.