Использование Synapse Studio для мониторинга приложений Apache Spark

Благодаря Azure Synapse Analytics вы можете использовать Apache Spark для запуска записных книжек, заданий и других типов приложений в пулах Apache Spark в своей рабочей области.

В этой статье объясняется, как выполнять мониторинг приложений Apache Spark, позволяющий следить за актуальным состоянием, проблемами и ходом выполнения.

Просмотр приложений Apache Spark

Чтобы просмотреть все приложения Apache Spark, выберите Мониторинг ->Приложения Apache Spark.

Просмотр приложения Apache Spark, работа которого была выполнена

Откройте Мониторинг и выберите параметр Приложения Apache Spark. Чтобы просмотреть сведения о выполненных приложениях Apache Spark, выберите приложение Apache Spark.

1. Проверьте параметры: Завершенные задачи, Состояние и Общая продолжительность.

2. Обновите задание.

3. Щелкните Сравнить приложения, чтобы использовать функцию сравнения. Дополнительные сведения об этой функции см. в разделе Сравнение приложений Apache Spark.

4. Щелкните Сервер журнала Spark, чтобы открыть страницу сервера журнала.

5. Проверьте информацию Сводка.

6. Проверьте диагностику на вкладке Диагностика.

7. Проверьте Журналы. Вы можете просмотреть все данные журнала Livy, журналов предварительного запуска и драйверов, выбрав разные параметры в раскрывающемся списке. Вы можете непосредственно получить необходимые сведения журнала, выполнив поиск по ключевым словам. Выберите Скачать журнал, чтобы скачать сведения журнала на локальный компьютер, или установите флажок Фильтровать ошибки и предупреждения, чтобы отфильтровать необходимые ошибки и оповещения.

8. В созданной диаграмме задания можно просмотреть общие сведения о задании. По умолчанию на графике отображаются все задания. Это представление можно отфильтровать по идентификатору задания.

9. По умолчанию выбрано отображение Ход выполнения. Чтобы проверить поток данных, выберите Ход выполнения/Чтение/Запись/Длительность в раскрывающемся списке Представление.

10. Чтобы воспроизвести задание, нажмите кнопку Воспроизведение. Чтобы остановить его, в любой момент можно нажать кнопку Остановить.

11. Используйте полосу прокрутки, чтобы увеличить или уменьшить масштаб графика задания. Для того чтобы он соответствовал размеру экрана, можно выбрать Масштабировать по размеру экрана.

12. В узле диаграммы задания отображаются следующие сведения о каждом этапе:

    • Идентификатор задания

    • Номер задачи.

    • Длительность.

    • Число строк

    • чтение данных: сумма размера входных данных и размер данных чтения в случайном порядке;

    • Запись данных: сумма размера выходных данных и размер данных записи в случайном порядке.

    • Номер этапа.

      

13. Наведите указатель мыши на задание, и в подсказке отобразятся сведения о задании:

    • Значок состояния задания. Если состояние задания "Успешно", отображается зеленый значок"√". Если задание обнаруживает проблему, отображается желтый значок "!"

    • Идентификатор задания

    • Часть "Общие"

      • Ход выполнения
      • Длительность.
      • Общее количество задач.

    • Часть "Данные":

      • Общее количество строк.
      • Размер прочитанных данных.
      • Размер записанных данных.

    • Часть "Отклонение":

      • Неравномерное распределение данных
      • Неравномерное распределение времени

    • Номер этапа.

      

14. Выберите номер этапа, чтобы развернуть все этапы в задании. Выберите Свернуть рядом с идентификатором задания, чтобы свернуть все этапы в задании.

15. Щелкните Просмотр сведений на графе этапа, после чего отобразятся сведения об этапе.

    

Мониторинг хода выполнения приложений Apache Spark

Откройте Мониторинг и выберите параметр Приложения Apache Spark. Чтобы просмотреть сведения о запущенных приложениях Apache Spark, выберите отправленное приложение Apache Spark. Если приложение Apache Spark еще выполняется, можно отслеживать ход его выполнения.

1. Проверьте параметры: Завершенные задачи, Состояние и Общая продолжительность.

2. Выберите пункт Отмена для приложения Apache Spark.

3. Обновите задание.

4. Нажмите кнопку Пользовательский интерфейс Spark, чтобы перейти на страницу задания Spark.

5. Отобразятся вкладки Графа задания, Сводка, Диагностика, Журналы. В созданной диаграмме задания можно просмотреть общие сведения о задании. См. шаги 5–15 раздела Просмотр приложения Apache Spark, работа которого была выполнена.

Просмотр приложения Apache Spark, работа которого была отменена

Откройте Мониторинг и выберите параметр Приложения Apache Spark. Чтобы просмотреть сведения об отмененных приложениях Apache Spark, выберите приложение Apache Spark.

1. Проверьте параметры: Завершенные задачи, Состояние и Общая продолжительность.

2. Обновите задание.

3. Щелкните Сравнить приложения, чтобы использовать функцию сравнения. Дополнительные сведения об этой функции см. в разделе Сравнение приложений Apache Spark.

4. Откройте ссылку сервера журнала Apache, нажав на Сервер журнала Spark.

5. Просмотрите график. В созданном графике задания можно просмотреть общие сведения о задании. См. шаги 5–15 раздела Просмотр приложения Apache Spark, работа которого была выполнена.

Отладка приложения Apache Spark со сбоем

Откройте Мониторинг и выберите параметр Приложения Apache Spark. Чтобы просмотреть сведения о приложениях Apache Spark со сбоем, выберите приложение Apache Spark.

1. Проверьте параметры: Завершенные задачи, Состояние и Общая продолжительность.

2. Обновите задание.

3. Щелкните Сравнить приложения, чтобы использовать функцию сравнения. Дополнительные сведения об этой функции см. в разделе Сравнение приложений Apache Spark.

4. Откройте ссылку сервера журнала Apache, нажав на Сервер журнала Spark.

5. Просмотрите график. В созданном графике задания можно просмотреть общие сведения о задании. См. шаги 5–15 раздела Просмотр приложения Apache Spark, работа которого была выполнена.

Просмотр входных и выходных данных

Выберите приложение Apache Spark и щелкните вкладку входных и выходных данных, чтобы просмотреть данные ввода и вывода для приложения Apache Spark. Эта функция поможет при отладке задания Spark. Источник данных поддерживает три метода хранения: Gen1, Gen2 и BLOB-объекты.

Вкладка входных данных

1. Нажмите кнопку Копировать входные данные, чтобы вставить входной файл в локальный.

2. Нажмите кнопку Экспорт в CSV, чтобы экспортировать входной файл в формат CSV.

3. Вы можете выполнять поиск файлов по ключевым словам входных данных в поле поиска (ключевые слова включают имя файла, формат чтения и путь).

4. Можно также сортировать входные файлы, щелкая поля Имя, Формат чтения и Путь.

5. При наведении указателя мыши на входной файл отображается значок кнопки Скачать/Копировать путь/Дополнительно.

6. Нажмите кнопку Дополнительно. В контекстном меню появятся пункты Копировать путь/Показать в обозревателе/Свойства.

   

   • Копировать путь: можно скопировать полный путь и относительный путь.

   • Показать в обозревателе: можно перейти к связанной учетной записи хранения (Данные -> Связанные).

   • Свойства: отображение основных свойств файла (Имя файла/Путь файла/Формат чтения/Размер/Изменение).

     

Вкладка выходных данных

Отображает те же функции, что и вкладка входных данных.

Сравнение приложений Apache Spark

Существует два способа сравнения приложений. Для сравнения можно выбрать Сравнить приложение или нажать кнопку Сравнить в записной книжке, чтобы просмотреть данные о сравнении в записной книжке.

Сравнение по приложению

Нажмите кнопку Сравнить приложения и выберите приложение для сравнения производительности. Вы можете увидеть разницу между двумя приложениями.

1. Наведите указатель мыши на приложение, после чего отобразится значок Сравнить приложения.

2. Щелкните значок Сравнить приложения, и на странице "Сравнение приложений" появится всплывающее окно.

3. Нажмите кнопку Выбрать приложение, чтобы открыть страницу Выбрать приложение для сравнения.

4. При выборе приложения сравнения необходимо либо ввести URL-адрес приложения, либо выбрать его из повторяющегося списка. Затем нажмите кнопку ОК.

   

5. Результат сравнения отобразиться на странице "Сравнение приложений".

   

Сравнение в записной книжке

Нажмите кнопку Сравнить в записной книжке на странице Сравнить приложения, чтобы открыть записную книжку. Именем файла .ipynb по умолчанию является Повторяющийся Анализ Приложений.

В записной книжке. Файл Повторяющегося Анализа Приложений можно запустить непосредственно после настройки пула и языка Spark.

Дальнейшие действия

Дополнительные сведения о мониторинге выполнений конвейера см. в статье Мониторинг выполнений конвейера с помощью Synapse Studio.