Мониторинг сведений о приложении Apache Spark
С помощью Microsoft Fabric вы можете использовать Apache Spark для запуска записных книжек, заданий и других видов приложений в рабочей области. В этой статье объясняется, как отслеживать приложение Apache Spark, что позволяет следить за последними состояниями выполнения, проблемами и ходом выполнения заданий.
Просмотр приложений Apache Spark
Вы можете просмотреть все приложения Apache Spark из определения задания Spark или контекстное меню элемента записной книжки с параметром последнего запуска ->Recent run.
Вы можете выбрать имя приложения, которое вы хотите просмотреть в списке приложений, на странице сведений о приложении можно просмотреть сведения о приложении.
Мониторинг состояния приложения Apache Spark
Откройте страницу последних запусков определения задания или записной книжки Spark, вы можете просмотреть состояние приложения Apache.
- Удачное завершение
- В очереди
- Остановлено
- Отменено
- Неудачно
Работы
Откройте задание приложения Apache Spark из определения задания Spark или контекстного меню элемента записной книжки с параметром "Последние запуски> выберите задание на странице последних запусков.
На странице сведений о мониторинге приложений Apache Spark список выполнения заданий отображается на вкладке "Задания", можно просмотреть сведения о каждом задании, включая идентификатор задания, описание, состояние, этапы, задачи, длительность, длительность, обработку, чтение данных, фрагмент кода и фрагмент кода.
- Щелкнув идентификатор задания, можно развернуть или свернуть задание.
- Щелкните описание задания, вы можете перейти на страницу задания или сцены в пользовательском интерфейсе Spark.
- Щелкните фрагмент кода задания, можно проверить и скопировать код, связанный с этим заданием.
Ресурсы
График использования исполнителя на вкладке Ресурсы визуализирует выделение и использование исполнителей Spark для текущего приложения Spark практически в режиме реального времени во время выполнения Spark. Вы можете обратиться к: Мониторинг использования ресурсов приложений Apache Spark.
Панель сводки
На странице мониторинга приложений Apache Spark нажмите кнопку "Свойства ", чтобы открыть или свернуть сводную панель. Подробные сведения об этом приложении можно просмотреть в разделе "Подробные сведения".
- Состояние этого приложения Spark.
- Идентификатор приложения Spark.
- Общая длительность.
- Длительность выполнения для этого приложения Spark.
- Длительность в очереди для этого приложения Spark.
- Идентификатор Livy
- Отправитель для этого приложения Spark.
- Время отправки для этого приложения Spark.
- Количество исполнителей.
Журналы
На вкладке "Журналы" можно просмотреть полный журнал Livy, Prelaunch, журнал драйверов с различными параметрами, выбранными на левой панели. И вы можете напрямую получить необходимые сведения журнала, выполнив поиск ключевых слов и просмотр журналов, отфильтровав состояние журнала. Нажмите кнопку "Скачать журнал", чтобы скачать сведения о журнале в локальный.
Иногда журналы недоступны, например состояние задания в очереди и сбой создания кластера.
Динамические журналы доступны только при сбое отправки приложения, а журналы драйверов также предоставляются.
Data
На вкладке "Данные " можно скопировать список данных в буфер обмена, скачать список данных и отдельные данные и проверить свойства для каждого из них.
- Левая панель может быть развернута или свернута.
- Имя, формат чтения, размер, источник и путь к входным и выходным файлам будет отображаться в этом списке.
- Файлы во входных и выходных данных можно скачать, скопировать путь и просмотреть свойства.
Моментальные снимки элементов
Вкладка "Моментальные снимки элементов" позволяет просматривать и просматривать элементы, связанные с приложением Apache Spark, включая записные книжки, определение задания Spark и (или) конвейеры. На странице моментальных снимков элементов отображается моментальный снимок значений кода и параметров во время выполнения записных книжек. В нем также показан моментальный снимок всех параметров и параметров во время отправки определений заданий Spark. Если приложение Apache Spark связано с конвейером, соответствующая страница элемента также представляет соответствующий конвейер и действие Spark.
На экране моментальных снимков элементов можно:
- Просмотрите и перейдите к связанным элементам в иерархическом дереве.
- Щелкните значок многоточия "Список дополнительных действий" для каждого элемента, чтобы выполнить различные действия.
- Щелкните элемент моментального снимка, чтобы просмотреть его содержимое.
- Просмотрите путь из выбранного элемента в корень.
Примечание.
Функция моментальных снимков записной книжки в настоящее время не поддерживает записные книжки, находящиеся в состоянии выполнения или в сеансе Spark с высоким параллелизмом.
Диагностика
Панель диагностики предоставляет пользователям рекомендации в режиме реального времени и анализ ошибок, созданные помощником По Spark с помощью анализа кода пользователя. Благодаря встроенным шаблонам помощник По Apache Spark помогает пользователям избежать распространенных ошибок и анализирует ошибки, чтобы определить их первопричину.
Связанный контент
Следующий шаг после просмотра сведений о приложении Apache Spark — просмотр хода выполнения задания Spark под ячейкой Notebook. Вы можете ссылаться на следующее: