Временная шкала заданий

Временная шкала заданий — это отличная отправная точка для понимания конвейера или запроса. Он содержит общие сведения о том, что выполнялось, сколько времени выполнялось каждое действие, и если на пути были какие-либо сбои.

Как открыть хронологию заданий

В интерфейсе Spark щелкните задачи и временную шкалу событий, как выделено красным цветом на следующем снимке экрана. Вы увидите временную шкалу. В этом примере показано, как добавляется драйвер и исполнитель 0:

Что искать

В разделах ниже объясняется, как считывать временную шкалу событий, чтобы обнаружить возможную причину проблемы с производительностью или затратами. Если вы заметили какие-либо из этих тенденций на временной шкале, конец каждого соответствующего раздела содержит ссылку на статью, которая содержит рекомендации.

Сбой заданий или сбой исполнителей

Вот пример неудачного задания и удаленных исполнителей, указанных красным статусом на временной линии событий.

Если вы видите неудачные задания или неисправные исполнители, см. статью сбой заданий или исполнителей, удаленных.

Пробелы в выполнении

Найдите пробелы в минуту или более, например в этом примере:

В этом примере есть несколько пробелов, некоторые из которых выделены красными стрелками. Если вы видите пропуски на временной шкале, они длительностью минуту или более? Короткие задержки ожидаемы, пока водитель координирует работу. Если у вас есть более длинные пробелы, они находятся в середине конвейера? Или этот кластер постоянно работает, и поэтому пробелы объясняются паузами в действии? Вы можете определить это на основе времени начала и окончания рабочей нагрузки.

Если вы видите длинные необъяснимые пробелы в середине конвейера, см. пробелы между заданиями Spark.

Длинные задания

Доминирует ли график одним или несколькими длинными заданиями? Эти длительные работы следует изучить. В следующем примере рабочая нагрузка содержит одну задачу, которая гораздо дольше, чем другие. Это хороший целевой объект для расследования.

Щелкните на самую долгую задачу, чтобы углубиться. Сведения о расследовании длительного этапа см. в разделе Диагностика длительного этапа в Spark.

Многие небольшие работы

Мы ищем временную шкалу, где преобладают мелкие задания. Это может выглядеть примерно так:

Обратите внимание на все крошечные синие линии. Каждое из них является небольшой работой, которая заняла несколько секунд или меньше.

Если ваша хронология в основном состоит из небольших заданий, см. множество небольших заданий Spark.

Ни один из перечисленного

Если временная шкала не выглядит как любая из указанных выше, следующий шаг — определить самое длинное задание. Сортируйте задания по длительности и щелкните ссылку в описании для самого длинного задания:

После того как вы откроете страницу самой длинной задачи, дополнительная информация об исследовании этой длительной стадии находится в разделе Диагностика длинной стадии в Spark.