Мониторинг использования ресурсов приложений Apache Spark
График использования исполнителя на вкладке Resources визуализирует выделение и использование исполнителей Spark для текущего приложения Spark в режиме реального времени во время выполнения Spark. График также предоставляет интерактивный опыт, позволяя просматривать задания и задачи Spark, щелкая на выполняющихся в данный момент исполнителях. В настоящее время эта функция поддерживается только в среде выполнения Spark версии 3.4 и выше.
Вкладка "Ресурсы"
Перейдите на вкладку ресурсов, чтобы получить доступ к графику с четырьмя отдельными линейными графиками, каждый из которых отображает другое состояние исполнителя: выполняющиеся, бездействующие, выделенныеи максимальное количество экземпляров.
Выполнение: Отображается фактическое количество ядер, используемых приложением Spark для работы заданий и задач Spark.
бездействия: это число ядер, доступных, но неиспользуемых во время работы приложения Spark.
Выделенные: это касается ядер, выделенных во время работы приложения Spark.
Максимальное количество инстанций: это указывает на максимальное количество ядер, выделяемых для приложения Spark.
Переключите условные обозначения цвета, чтобы выбрать или отменить выбор соответствующего графа на диаграмме использования ресурсов.
График использования ресурсов является интерактивным. При наведении указателя мыши на график ядер исполняемого процесса отобразится сводка по ядрам и соответствующим сведениям о процессе. Щелкнув точку в строке ядра выполняющегося исполнителя, будут отображаться подробные сведения о соответствующем исполнителе и задании в данный момент, показанные в нижней части графа.
Заметка
В некоторых случаях в определенные моменты времени количество задач может превышать общую мощность ядер исполнителя (то есть количество задач > / spark.task.cpus по всем ядрам исполнителя). Ожидается, что между задачей, помеченной как выполняющаяся, и ее фактическое выполнение в ядре исполнителя может возникнуть разрыв времени. Поэтому некоторые задачи могут отображаться как запущенные, но они не работают в любом ядре.
Связанное содержимое
Общие сведения о мониторинге Fabric Spark, мониторинге приложений Spark и контекстном мониторинге записных книжек см. в следующей статье: