Znany problem — centrum monitorowania wyświetla niepoprawny czas trwania w kolejce
Zadania Spark są kolejkowane, gdy użycie pojemności osiągnie maksymalny limit mocy obliczeniowej na Spark. Po osiągnięciu limitu zadania są dodawane do kolejki. Zadania są następnie przetwarzane, gdy rdzenie staną się dostępne w pojemności. Ta funkcja kolejkowania jest włączona dla wszystkich procesów w tle w Spark, w tym notatników Spark wyzwalanych z harmonogramu zadań, potoków i definicji zadań Spark. Czas oczekiwania zadania w kolejce nie jest poprawnie przedstawiany w centrum monitoringu jako czas spędzony w kolejce.
stan : Otwórz
Doświadczenie Produktu : Inżynieria Danych
Objawy
Łączny czas trwania zadania pokazanego w centrum monitorowania obejmuje obecnie tylko czas wykonywania zadania. Łączny czas trwania nie odzwierciedla poprawnie czasu trwania, w którym zadanie czekało w kolejce.
Rozwiązania i obejścia
Gdy zadanie znajduje się w kolejce, stan jest wyświetlany jako Nie uruchomiono w widoku monitorowania. Po rozpoczęciu wykonywania zadania stan zostanie zaktualizowany do W toku w widoku monitorowania. Użyj wskaźnika stanu zadania, aby dowiedzieć się, kiedy zadanie jest w kolejce i kiedy jego wykonanie jest w toku.