Surveiller l’utilisation des ressources des applications Apache Spark
Le graphique d’utilisation de l’exécuteur sous l’onglet Ressources visualise l’allocation et l’utilisation des exécuteurs Spark pour l’application Spark actuelle en quasi-temps réel pendant l’exécution de Spark. Le graphique offre également une expérience interactive, ce qui vous permet d’afficher les tâches et les tâches Spark en cliquant sur les exécuteurs en cours d’exécution à un moment donné. Actuellement, seul le runtime Spark version 3.4 et ultérieure prend en charge cette fonctionnalité.
Onglet Ressources
Cliquez sur l’onglet Ressources pour accéder à un graphique comportant quatre courbes distinctes, chacune représentant un état d'exécuteur différent : Exécution, Inactif, Allouéet Instances maximales.
En cours d’exécution: cela montre le nombre réel de cœurs utilisés par l’application Spark pour exécuter des travaux et des tâches Spark.
Inactif : représente le nombre de cœurs disponibles, mais inutilisés pendant l’exécution de l’application Spark.
Alloué à: cela fait référence aux cœurs alloués pendant le fonctionnement de l'application Spark.
Nombre maximal d’instances: indique le nombre maximal de cœurs pouvant être alloués à l’application Spark.
Basculez la légende de couleur pour sélectionner ou désélectionner le graphique correspondant dans le graphique d’utilisation des ressources.
Le graphique d’utilisation des ressources est interactif. Lorsque vous pointez votre souris sur le graphique des cœurs d’exécuteur en cours d’exécution, un résumé des cœurs et des informations d’exécuteur correspondantes s’affiche. Le fait de cliquer sur un point dans la ligne principale de l’exécuteur en cours d’exécution affiche des informations détaillées sur l’exécuteur et le travail respectifs à ce moment précis, affichés au bas du graphique.
Remarque
Dans certains cas, à certains moments, le nombre de tâches peut dépasser la capacité des cœurs d’exécuteur (c’est-à-dire, les nombres de tâches > cœurs d’exécuteur total / spark.task.cpus). Cela est attendu, car il peut y avoir un intervalle de temps entre une tâche marquée comme étant en cours d’exécution et son exécution réelle sur un cœur d’exécuteur. Par conséquent, certaines tâches peuvent apparaître comme étant en cours d’exécution, mais elles ne s’exécutent pas activement sur n’importe quel cœur.
Contenu connexe
Pour obtenir une vue d’ensemble de la surveillance Fabric Spark, de la surveillance des applications Spark et de la surveillance contextuelle des notebooks, vous pouvez vous référer à :