Monitoramento com o Azure Managed Prometheus e o Grafana

Artigo
09/20/2024

Importante

O Azure HDInsight no AKS se aposentou em 31 de janeiro de 2025. Saiba mais com este comunicado.

Você precisa migrar suas cargas de trabalho para microsoft fabric ou um produto equivalente do Azure para evitar o encerramento abrupto de suas cargas de trabalho.

Importante

Esse recurso está atualmente em versão prévia. Os termos de uso complementares para o Microsoft Azure Previews incluem mais termos legais que se aplicam aos recursos do Azure que estão em versão beta, em versão prévia ou ainda não lançados em disponibilidade geral. Para obter informações sobre essa versão prévia específica, consulte Azure HDInsight em informações de visualização do AKS. Para perguntas ou sugestões de funcionalidades, envie uma solicitação no AskHDInsight com os detalhes e siga-nos para obter mais atualizações na Comunidade do Azure HDInsight .

O monitoramento de cluster e de serviço é parte integrante de qualquer organização. O Azure HDInsight no AKS vem com a experiência de monitoramento integrada com os serviços do Azure. Neste artigo, usamos o serviço Prometheus gerenciado com painéis do Grafana do Azure para monitoramento.

Azure Prometheus Gerenciado é um serviço que monitora seus ambientes na nuvem. O monitoramento é para manter suas métricas de disponibilidade, desempenho e carga de trabalho. Ele coleta dados gerados por recursos em suas instâncias do Azure e de outras ferramentas de monitoramento. Os dados são usados para fornecer análise em várias fontes.

Azure Managed Grafana é uma plataforma de visualização de dados criada com base no software Grafana da Grafana Labs. Ele é criado como um serviço do Azure totalmente gerenciado operado e com suporte da Microsoft. O Grafana ajuda você a reunir métricas, logs e rastreamentos em uma única interface do usuário. Com seu amplo suporte para fontes de dados e recursos de grafo, você pode exibir e analisar seus dados de telemetria de aplicativo e infraestrutura em tempo real.

Este artigo aborda os detalhes da habilitação do recurso de monitoramento no HDInsight no AKS.

Pré-requisitos

Um workspace do Prometheus Gerenciado do Azure. Você pode pensar nesse workspace como um ambiente de logs exclusivo do Azure Monitor com seu próprio repositório de dados, fontes de dados e soluções. Para obter as instruções, consulte Criar um workspace do Prometheus Gerenciado do Azure.
Workspace do Grafana Gerenciado do Azure. Para obter as instruções, consulte Criar um workspace do Grafana Gerenciado do Azure.
Um HDInsight em um cluster AKS. Atualmente, você pode usar o Prometheus Gerenciado do Azure com o HDInsight nos seguintes tipos de cluster AKS:
- Apache Spark™
- Apache Flink®
- Trino

Para obter as instruções sobre como criar um HDInsight no cluster do AKS, consulte Introdução ao Azure HDInsight no AKS.

Habilitando o Prometheus Gerenciado do Azure e o Grafana

O Azure Managed Prometheus e o monitoramento do Grafana devem ser configurados no nível do pool de clusters para habilitá-los no nível do cluster. Você precisa considerar vários estágios ao habilitar a Solução de Monitoramento.

#	Cenário	Habilitar	Desabilitar
1	Criação do pool de clusters -During	`Not Supported`	`Default`
2	Pool de clusters – Pós-Criação	`Supported`	`Not Supported`
3	Cluster – Durante a criação	`Supported`	`Default`
4	Cluster – Pós-Criação	`Supported`	`Supported`

Durante a criação do pool de clusters

Atualmente, o Managed Prometheus NÃO pode ser habilitado no momento de criação do Conjunto de Clusters. Você pode configurá-lo após a criação do pool de clusters.

Pós-criação do pool de clusters

O monitoramento pode ser habilitado na guia Integrações em uma Visualização do Pool de Clusters existente disponível no Portal Azure. Você pode usar workspaces pré-criados ou criar um novo enquanto estiver configurando o monitoramento para o pool de clusters.

Usar espaço de trabalho pré-criado

Clique em configurar para habilitar o monitoramento do Azure Prometheus.
Clique em Configurações Avançadas para anexar seus espaços de trabalho pré-criados.

Criar o Azure Prometheus e o Workspace do Grafana ao habilitar o Monitoramento no Pool de Clusters

Você pode criar os workspaces a partir do HDI na página do pool de clusters do AKS.

Clique em Configurar ao lado da opção Azure Prometheus.
Clique em Criar Novo espaço de trabalho para o Prometheus Gerenciado do Azure.
Preencha o nome, a região e clique em Criar para Prometheus.
Clique em Criar Novo workspace para o Grafana Gerenciado do Azure.
Preencha Nome, Região e clique em Criar para Grafana.
Nota
1. O Grafana Gerenciado só poderá ser habilitado se o Prometheus Gerenciado estiver habilitado.
2. Depois que os workspaces do Prometheus Gerenciado do Azure e do Grafana Gerenciado do Azure estiverem habilitados no HDInsight no pool de clusters do AKS, eles não poderão ser desabilitados do pool de clusters novamente. Ele deve ser desabilitado no nível do cluster.

Durante a criação do cluster

Habilitar o Prometheus Gerenciado do Azure durante a criação do cluster

Depois que o pool de clusters for criado e o Azure Managed Prometheus habilitado, o usuário deverá criar um HDI no cluster do AKS no mesmo pool de cluster.
Durante o processo de criação do cluster, navegue até a página Integração e habilite Azure Prometheus.

Após a criação do cluster

Você também pode habilitar o Azure Managed Prometheus após HDI durante a criação do cluster AKS.

Navegue até a guia Integrações na página do cluster.
Habilite o Monitoramento do Azure Prometheus usando o botão de alternância e clique em Salvar.

Nota

Da mesma forma, se você precisar desabilitar o monitoramento do Azure Prometheus, isso pode ser feito desabilitando o botão de alternância e clicando em Salvar.

Habilitando permissões necessárias

Para visualizar o Azure Managed Prometheus e o Azure Managed Grafana no HDInsight no portal do AKS, você precisa ter certas permissões conforme a seguir.

Permissão do usuário: Para exibir o Grafana Gerenciado do Azure, é necessário que o usuário tenha o papel "Visualizador do Grafana" no workspace do Grafana Gerenciado do Azure. Controle de Acesso (IAM). Veja como conceder acesso a um usuário, aqui.

Abra o espaço de trabalho do Grafana configurado no grupo de clusters.
Selecione a função como visualizador do Grafana
Selecione o nome de usuário que está acessando o painel do Grafana.
Selecione o usuário e clique em Revisar+ Atribuir

Nota

Se o usuário estiver criando previamente o Prometheus Gerenciado do Azure, a Identidade do Grafana precisará de uma permissão adicional de Leitor de Monitoramento .
Na página do workspace do Grafana (aquela vinculada ao cluster) fornece permissão leitor de monitoramento na guia Identidade.
Clique em Adicionar atribuição de função.
Selecione os seguintes parâmetros
1. Escopo como de Assinatura
2. O nome da assinatura.
3. Função como leitor de monitoramento de
Nota

Para exibir outras funções para usuários do Grafana, veja aqui .

Exibir métricas

Estamos usando um cluster Apache Spark™ como exemplo nesse caso, supondo que poucos trabalhos sejam executados no cluster, a fim de ter as métricas.

Examine as seguintes etapas para usar os modelos de exemplo do Grafana:

Baixe o modelo de exemplo de aqui para as respectivas cargas de trabalho (baixe o modelo do Apache Spark nesse caso).
Faça login no Painel do Grafana do seu cluster.
Depois que a página Painel do Grafana for aberta, clique em Nova > Importar
Clique no arquivo JSON do Painel de Carregamento e carregue o modelo do Apache Spark Grafana que você baixou e clique em Importar.
Depois que o upload for concluído, você poderá clicar no painel para exibir as métricas.