Диагностика проблем с затратами и производительностью с помощью пользовательского интерфейса Spark

В этом руководстве описано, как использовать пользовательский интерфейс Spark для диагностики проблем с затратами и производительностью. Это пошаговое руководство, и это практическое руководство. Вместо того чтобы просто предоставить вам объяснение того, что делает каждая страница в пользовательском интерфейсе Spark, она сообщает вам, что искать и что это означает. Если вы не знакомы с понятиями драйвера, работников, исполнителей, этапов и задач, может потребоваться просмотреть архитектуру Spark.

Если вы ищете полный список различных средств оптимизации, используйте руководство по оптимизации Databricks. Разделы руководства по оптимизации приведены в этом руководстве по пользовательскому интерфейсу Spark.

Использование этого руководства

Чтобы перемещаться по руководству, используйте ссылки, расположенные на каждой странице, чтобы перейти к следующему шагу. В руководстве приведены следующие действия.

1. использовать временную шкалу заданий для выявления основных проблем
2. Просмотрите самый длинный этап
3. Проверять смещение или утечку
4. Определите, ограничен ли самый длинный этап по вводу-выводу
5. Ищите другие причины медленной производительности стадии

Давайте приступим!

Открытие пользовательского интерфейса Spark

1. Перейдите на страницу кластера:

   Вычисления

2. Щелкните Spark UI:

   

Следующий шаг

Теперь, когда вы открыли пользовательский интерфейс Spark, просмотрите временную шкалу событий, чтобы узнать больше о конвейере или запросе. См. временной шкалы заданий.