Мониторинг потребления емкости Apache Spark
Цель этой статьи — предложить рекомендации для администраторов, которые хотят отслеживать действия в емкостях, которыми они управляют. Используя отчеты о потреблении емкости Apache Spark, доступные в приложении метрик емкости Microsoft Fabric, администраторы могут получить аналитические сведения о потреблении оплачиваемой емкости Spark для элементов, включая Lakehouse, Notebook и определения заданий Apache Spark. Некоторые действия по потреблению емкости Spark не сообщаются в приложении.
Сообщается о потреблении емкости Spark
Следующие операции из lakehouses, записных книжек и определений заданий Spark рассматриваются как оплачиваемые действия.
| Наименование операции | Товар | Комментарии |
|---|---|---|
| Операции Lakehouse | Гибридное решение "хранилище и озеро данных" | Пользователи предварительной версии таблицы в обозревателе Lakehouse. |
| Загрузка таблицы Lakehouse | Гибридное решение "хранилище и озеро данных" | Пользователи загружают разностную таблицу в обозревателе Lakehouse. |
| Запуск записной книжки | Записная книжка | Записная книжка выполняется вручную пользователями. |
| Запуск записной книжки HC | Записная книжка | Записная книжка выполняется под сеансом Apache Spark с высокой параллелизмом. |
| Запланированный запуск записной книжки | Записная книжка | Записная книжка запускается запланированными событиями записной книжки. |
| Запуск конвейера записной книжки | Записная книжка | Записная книжка запускается конвейером. |
| Запуск VS Code записной книжки | Записная книжка | Записная книжка выполняется в VS Code. |
| Выполнение задания Spark | Определение задания Spark | Пакетное задание Spark, инициируемое отправкой пользователем. |
| Запланированное выполнение задания Spark | Определение задания Spark | Пакетное задание запускается с помощью запланированных событий записной книжки. |
| Запуск конвейера заданий Spark | Определение задания Spark | Пакетное задание запускается конвейером. |
| Запуск задания Spark VS Code | Определение задания Spark | Определение задания Spark, отправленное из VS Code. |
Потребление емкости Spark, которое не сообщается
Существуют некоторые действия по потреблению емкости Spark, которые не сообщаются в приложении метрик. Эти действия включают системные задания Spark для управления библиотеками и некоторые системные задания Spark для пула Spark Live или динамических сеансов.
Управление библиотеками. Потребление емкости, связанное с управлением библиотеками на уровне рабочей области, не сообщается в приложении метрик.
Задания System Spark — потребление емкости Spark, которое не связано с записной книжкой, определением задания Spark или lakehouse, не входит в отчеты о емкости.
Отчеты об использовании емкости
Все связанные операции Spark классифицируются как фоновые операции. Потребление емкости из Spark отображается в записной книжке, определении задания Spark или lakehouse и агрегируется по имени и элементу операции.
Отчет о фоновых операциях
Фоновые операции отображаются для определенной точки времени. В таблице отчета каждая строка ссылается на операцию пользователя. Просмотрите столбец User , чтобы определить, кто выполнил определенную операцию. Если вам нужна дополнительная информация о конкретной операции, его идентификатор операции можно найти в центре мониторинга Microsoft Fabric.
