Problème connu – Le hub de supervision affiche une durée de mise en file d’attente incorrecte
Les travaux Spark sont mis en file d’attente quand l’utilisation de la capacité atteint sa limite de calcul maximale sur Spark. Une fois la limite atteinte, les travaux sont ajoutés à la file d’attente. Les travaux sont ensuite traités quand les cœurs deviennent disponibles dans la capacité. Cette capacité de mise en file d’attente est activée pour tous les travaux en arrière-plan sur Spark, y compris les notebooks Spark déclenchés depuis le planificateur de travaux, les pipelines et les définitions de travaux Spark. La durée pendant laquelle le travail attend dans la file d’attente n’est pas correctement représentée dans le hub de supervision comme durée de la mise en file d’attente.
Statut : Ouvert
Expérience produit : Ingénieurs de données
Symptômes
La durée totale du travail affichée dans le hub de supervision inclut actuellement seulement le temps d’exécution du travail. La durée totale ne reflète pas correctement la durée pendant laquelle le travail a attendu dans la file d’attente.
Solutions et méthodes de contournement
Quand le travail est dans la file d’attente, l’état s’affiche comme Non démarré dans la vue de supervision. Une fois l’exécution du travail démarrée, l’état est mis à jour en En cours dans la vue de supervision. Utilisez l’indicateur d’état du travail pour savoir quand le travail est mis en file d’attente et quand son exécution est en cours.