Supervision avec Azure Managed Prometheus et Grafana
Important
Azure HDInsight sur AKS a été mis hors service le 31 janvier 2025. En savoir plus avec cette annonce.
Vous devez migrer vos charges de travail vers Microsoft Fabric ou un produit Azure équivalent pour éviter l’arrêt brusque de vos charges de travail.
Important
Cette fonctionnalité est actuellement en préversion. Les Conditions d’utilisation supplémentaires pour les préversions Microsoft Azure incluent des termes juridiques supplémentaires qui s’appliquent aux fonctionnalités Azure en version bêta, en préversion ou qui ne sont pas encore publiées en disponibilité générale. Pour plus d’informations sur cette préversion spécifique, consultez informations sur Azure HDInsight sur AKS en préversion. Pour des questions ou des suggestions de fonctionnalités, envoyez une demande sur AskHDInsight avec les détails et suivez-nous pour plus de mises à jour sur Communauté Azure HDInsight.
La surveillance des clusters et des services fait partie intégrante de n’importe quelle organisation. Azure HDInsight sur AKS est fourni avec une expérience de supervision intégrée avec les services Azure. Dans cet article, nous utilisons le service Prometheus géré avec des tableaux de bord Azure Grafana pour la supervision.
Azure Managed Prometheus est un service qui surveille vos environnements cloud. La surveillance consiste à maintenir leur disponibilité et leurs métriques de performances et de charge de travail. Il collecte les données générées par des ressources dans vos instances Azure et à partir d’autres outils de supervision. Les données sont utilisées pour fournir une analyse sur plusieurs sources.
azure Managed Grafana est une plateforme de visualisation des données basée sur le logiciel Grafana par Grafana Labs. Il est conçu en tant que service Azure entièrement géré et pris en charge par Microsoft. Grafana vous aide à rassembler métriques, journaux et traces dans une seule interface. Grâce à sa prise en charge étendue des sources de données et des fonctionnalités de graphe, vous pouvez afficher et analyser vos données de télémétrie d’application et d’infrastructure en temps réel.
Cet article décrit les détails de l’activation de la fonctionnalité de surveillance dans HDInsight sur AKS.
Conditions préalables
- Un espace de travail Azure géré par Prometheus. Vous pouvez considérer cet espace de travail comme un environnement de journaux Azure Monitor unique avec son propre référentiel de données, sources de données et solutions. Pour obtenir les instructions, consultez Créer un espace de travail Prometheus managé Azure.
- Espace de travail Azure Managed Grafana. Pour obtenir les instructions, consultez Créer un espace de travail Azure Managed Grafana.
- Un HDInsight sur le cluster AKS. Actuellement, vous pouvez utiliser Azure Managed Prometheus avec les types de cluster HDInsight suivants sur AKS :
- Apache Spark™
- Apache Flink®
- Trino
Pour obtenir des instructions sur la création d’un cluster HDInsight sur AKS, consultez Prise en main d’Azure HDInsight sur AKS.
Activation d’Azure Managed Prometheus et de Grafana
La supervision Azure Managed Prometheus et Grafana doit être configurée au niveau du pool de clusters pour l’activer au niveau du cluster. Vous devez prendre en compte différentes étapes lors de l’activation de la solution de supervision.
| # | Scénario | Activer | Désactiver |
|---|---|---|---|
| 1 | Création du pool de clusters -During | Not Supported |
Default |
| 2 | Groupe de clusters – Après création | Supported |
Not Supported |
| 3 | Cluster : lors de la création | Supported |
Default |
| 4 | Cluster – Post-création | Supported |
Supported |
Lors de la création d’un pool de clusters
Actuellement, le Prometheus managé ne peut pas être activé lors de la création du pool de clusters. Vous pouvez le configurer après la création d’un pool de clusters.
Après la création d'un pool de clusters
L’analyse peut être activée à partir de l’onglet Intégrations sur une vue de pool de clusters existante disponible dans le portail Azure. Vous pouvez utiliser des espaces de travail prédéfinis ou en créer un nouvel pendant la surveillance du pool de clusters.
Utiliser l’espace de travail précréé
Cliquez sur configurer pour activer la surveillance Azure Prometheus.
capture d’écran
Cliquez sur Paramètres avancés pour joindre vos espaces de travail précréés.
capture d’écran
Créer un espace de travail Azure Prometheus et Grafana lors de l’activation du monitoring dans le pool de clusters
Vous pouvez créer les espaces de travail à partir de la page de HDI sur le pool de clusters AKS.
Cliquez sur Configurer en regard de l’option Azure Prometheus.
Cliquez sur Créer un espace de travail pour Azure Managed Prometheus.
Renseignez le nom, la région, puis cliquez sur Créer pour Prometheus.
Cliquez sur Créer un espace de travail pour Azure Managed Grafana.
Renseignez le nom, la région, puis cliquez sur Créer pour Grafana.
Note
- Managed Grafana ne peut être activé que si Managed Prometheus est activé.
- Une fois l’espace de travail Prometheus géré Azure et l’espace de travail Azure Managed Grafana activés à partir du pool de clusters HDInsight sur AKS, il ne peut pas être désactivé à nouveau à partir du pool de clusters. Elle doit être désactivée à partir du niveau du cluster.
Lors de la création du cluster
Activer Azure Managed Prometheus lors de la création du cluster
Une fois le pool de clusters créé et l’option Prometheus managée Azure activée, l’utilisateur doit créer un HDI sur un cluster AKS dans le même pool de clusters.
Pendant le processus de création du cluster, accédez à la page Integration et activez Azure Prometheus.
Après la création d’un cluster
Vous pouvez également activer Azure Managed Prometheus après HDI lors de la création d’un cluster AKS
Accédez à l’onglet Intégrations dans la page du cluster.
Activez azure Prometheus Monitoring avec le bouton bascule, puis cliquez sur Enregistrer.
Note
De même, si vous devez désactiver la surveillance Azure Prometheus, vous pouvez le faire en désactivant le bouton bascule et en cliquant sur Enregistrer.
Activation des autorisations requises
Pour afficher Azure Managed Prometheus et Azure Managed Grafana à partir du portail HDInsight sur AKS, vous devez disposer de certaines autorisations comme suit.
Autorisation de l’utilisateur : pour afficher Azure Managed Grafana, le rôle « Visionneuse Grafana » est requis pour l’utilisateur dans l’espace de travail Azure Managed Grafana, contrôle d’accès (IAM). Découvrez comment accorder à l’utilisateur l’accès, ici.
Ouvrez l’espace de travail Grafana configuré dans le pool de clusters.
Sélectionnez le rôle comme Visionneuse Grafana
Sélectionnez le nom d’utilisateur qui accède au tableau de bord Grafana.
Sélectionnez l’utilisateur, puis cliquez sur Vérifier+ Affecter
Note
Si l'utilisateur crée à l'avance un Azure Managed Prometheus, l'identité Grafana nécessite une autorisation supplémentaire de Lecteur de surveillance.
La page de l’espace de travail Grafana (celle liée au cluster) offre l'autorisation de lecteur de Monitoring sous l’onglet Identité.
Cliquez sur Ajouter une attribution de rôle.
Sélectionnez les paramètres suivants
- Étendue en tant que d’abonnement
- Nom de l’abonnement.
- Rôle en tant que lecteur de surveillance
Afficher les métriques
Nous utilisons un cluster Apache Spark™ comme exemple dans ce cas, en supposant que peu de travaux sont exécutés dans le cluster, afin d’avoir les métriques.
Passez en revue les étapes suivantes pour utiliser les exemples de modèles Grafana :
Téléchargez l’exemple de modèle à partir de ici pour les charges de travail respectives (téléchargez le modèle Apache Spark dans ce cas).
Connectez-vous au tableau de bord Grafana à partir de votre cluster.
Une fois la page Grafana Dashboard ouverte, cliquez sur New > Import
Cliquez sur le fichier JSON du tableau de bord à télécharger, chargez le modèle Apache Spark Grafana que vous avez téléchargé, puis cliquez sur Importer.
Une fois le chargement terminé, vous pouvez cliquer sur le tableau de bord pour afficher les métriques.
Référence
- Apache, Apache Spark, Spark et les noms de projets open source associés sont marques de commerce du Apache Software Foundation (ASF).