Znany problem — centrum monitorowania wyświetla niepoprawny czas trwania w kolejce
Zadania platformy Spark są kolejkowane, gdy użycie pojemności osiągnie maksymalny limit obliczeniowy na platformie Spark. Po osiągnięciu limitu zadania są dodawane do kolejki. Zadania są następnie przetwarzane, gdy rdzenie staną się dostępne w pojemności. Ta funkcja kolejkowania jest włączona dla wszystkich zadań w tle na platformie Spark, w tym notesów platformy Spark wyzwalanych z harmonogramu zadań, potoków i definicji zadań platformy Spark. Czas oczekiwania zadania w kolejce nie jest poprawnie reprezentowany w centrum monitorowania jako czas trwania w kolejce.
Stan: Otwórz
Środowisko produktu: inżynierowie danych
Objawy
Łączny czas trwania zadania pokazanego w centrum monitorowania obejmuje obecnie tylko czas wykonywania zadania. Łączny czas trwania nie odzwierciedla poprawnie czasu trwania, w którym zadanie czekało w kolejce.
Rozwiązania i obejścia
Gdy zadanie znajduje się w kolejce, stan jest wyświetlany jako Nie uruchomiono w widoku monitorowania. Po rozpoczęciu wykonywania zadania stan zostanie zaktualizowany do pozycji W toku w widoku monitorowania. Użyj wskaźnika stanu zadania, aby dowiedzieć się, kiedy zadanie jest w kolejce i kiedy jego wykonanie jest w toku.