Problème connu - Le hub de surveillance affiche une durée incorrecte en file d’attente
Les travaux Spark sont mis en file d’attente quand l’utilisation de la capacité atteint sa limite de calcul maximale sur Spark. Une fois la limite atteinte, les travaux sont ajoutés à la file d’attente. Les travaux sont ensuite traités quand les cœurs deviennent disponibles dans la capacité. Cette capacité de mise en file d’attente est activée pour tous les travaux en arrière-plan sur Spark, y compris les notebooks Spark déclenchés depuis le planificateur de travaux, les pipelines et les définitions de travaux Spark. La durée pendant laquelle le travail attend dans la file d’attente n’est pas correctement représentée dans le hub de supervision comme durée de la mise en file d’attente.
État : ouvert
Expérience Produit : Ingénierie des Données
Symptômes
La durée totale du travail affiché dans le hub de surveillance inclut actuellement uniquement le temps d’exécution du travail. La durée totale ne reflète pas correctement la durée pendant laquelle le travail a attendu dans la file d’attente.
Solutions et solutions de contournement
Lorsque le travail est en file d’attente, l’état s’affiche comme non démarré dans la vue de surveillance. Une fois l’exécution du travail démarrée, l’état est mis à jour sur En cours dans la vue de supervision. Utilisez l’indicateur d’état du travail pour savoir quand le travail est mis en file d’attente et quand son exécution est en cours.