Activez la surveillance des travaux HDInsight.
L’analyse d’un cluster HDInsight présente un intérêt pour les Ingénieurs Données et les administrateurs informatiques, car elle leur permet de surveiller les aspects suivants du cluster :
- Intégrité et disponibilité du cluster
- Utilisation des ressources et performances
- Informations et journaux relatifs aux charges de travail
Les administrateurs informatiques utilisent la surveillance pour afficher l’intégrité et la disponibilité du cluster, ainsi que pour surveiller la sécurité du cluster. Les Ingénieurs Données s’intéresseront quant à eux aux aspects suivants :
- Informations et journaux relatifs aux charges de travail
- Observation des échecs ou des réussites des travaux
- Performances du cluster
- Affichage des charges de travail à l’aide de journaux
Il existe deux principaux outils de surveillance : Apache Ambari et Azure Monitor.
Apache Ambari
Cet outil est utilisé pour la gestion et la surveillance des clusters open source. Il fournit un tableau de bord avec une série de widgets qui vous permettent d’afficher l’intégrité d’un cluster HDInsight sur le plan matériel au niveau du cluster et du nœud. Ce tableau de bord est accessible à partir de l’écran de présentation du cluster HDInsight dans le Portail Azure.
Apache Ambari s’ouvre dans un navigateur Web qui fournit un tableau de bord des outils de surveillance.
De nombreux aspects d’Apache Ambari sont utiles pour les administrateurs informatiques et les Ingénieurs Données. Le tableau de bord initial est utile pour les administrateurs informatiques afin de surveiller l’intégrité du cluster en temps réel. D’autres zones, telles que l’écran YARN, permettent aux Ingénieurs Données d’afficher les capacités des files d’attente, les travaux et les journaux associés afin de surveiller les charges de travail sur le cluster. Des fonctionnalités d’alerte vous permettent également d’identifier les composants défectueux afin d’assurer un support proactif pour votre cluster.
Surveillance
Azure Monitor est un outil d’analyse Azure qui peut être utilisé sur des clusters HDInsight pour surveiller l’intégrité de votre service. Les aspects des Azure Monitor sont exposés directement dans le Portail Azure :
Alertes
Les alertes sont utiles pour surveiller de manière proactive une ressource dans Azure et pour agir en fonction d’une condition donnée. Une alerte peut être définie par rapport à une ressource donnée, par exemple un cluster HDInsight, pour déterminer le seuil d’une condition qui déclenchera une alerte. Une condition peut inclure l’activation de la mise à l’échelle automatique. Cette condition peut avoir la valeur true ou false. Les actions peuvent aller de l’envoi d’un e-mail au redémarrage d’un service en fonction de la manière dont la condition est définie.
Mesures
Les métriques sont un composant d’Azure Monitor qui vous permettent de configurer des graphiques visuels spécifiques à ce que vous souhaitez analyser. L’utilisation de graphiques visuels vous permet d’afficher, de mesurer et de mettre en corrélation des points de données pour déterminer si un service fonctionne dans une plage acceptable. Les métriques HDInsight incluent les demandes de passerelle pour voir la charge sur votre cluster et le nombre de Workers actifs, ce qui vous permet de garder un œil sur la taille de votre cluster HDInsight
Paramètres de diagnostic
Ces paramètres vous permettent de sélectionner une cible (un compte de stockage, un service Event Hub ou un compte Log Analytics) pour recevoir des données de diagnostic sur le service que vous avez activé. Les journaux sont envoyés à la cible que vous avez choisie, ce qui vous permet de journaliser l’activité du service au fil du temps et de l’analyser ultérieurement. Ces paramètres doivent être définis uniquement si vous souhaitez effectuer une analyse approfondie du service.
Azure Monitor
Il existe un lien direct vers Azure Monitor que vous pouvez utiliser pour bénéficier de toutes les fonctionnalités fournies par Azure Monitor.
Intégrité des ressources
Ce tableau de bord est standard pour tous les services dans Azure et vous permet d’afficher l’intégrité du service HDInsight un jour donné. Il n’y a aucune notification provenant de cette zone. Vous devez donc vous-même effectuer un travail d’enquête. Resource Health peut vous fournir une vue d’ensemble des informations d’intégrité.