Известная проблема. В центре мониторинга отображается неправильная длительность очереди
Задания Spark становятся в очередь, когда использование вычислительных ресурсов достигает своего максимального предела в Spark. После достижения ограничения задания добавляются в очередь. Задания обрабатываются, когда вычислительные мощности становятся доступными. Эта возможность очереди включена для всех фоновых заданий в Spark, включая записные книжки Spark, активированные из планировщика заданий, конвейеров и определений заданий Spark. Длительность нахождения задания в очереди неправильно отображается в центре мониторинга как время ожидания в очереди.
состояние : Открытый
опыт продукта: инженерия данных
Симптомы
Общая длительность задания, показанного в центре мониторинга, в настоящее время включает только время выполнения задания. Общая длительность неправильно отражает время, в течение которого задание ожидало в очереди.
Решения и обходные пути
Когда задание находится в очереди, состояние отображается как не начато в окне мониторинга. После запуска задания состояние изменяется на В процессе выполнения в представлении мониторинга. Используйте индикатор состояния задания, чтобы узнать, когда задание находится в очереди и когда выполняется его выполнение.