Очередь заданий в Apache Spark для Microsoft Fabric
Область применения:✅ Инжиниринг данных и Обработка и анализ данных в Microsoft Fabric
Microsoft Fabric поддерживает очередь фоновых заданий, когда вы достигли пределов вычислений Spark для емкости Fabric. Система очередей заданий предлагает автоматические повторные попытки для заданий, которые добавляются в очередь до истечения срока действия очереди. Когда пользователи создают емкость Microsoft Fabric в Azure, они выбирают размер емкости в зависимости от размера рабочей нагрузки аналитики. После приобретения емкости администраторы могут создавать рабочие области в пределах емкости в Microsoft Fabric. Задания Spark, выполняемые в этих рабочих областях, могут использовать до максимального числа ядер, выделенных для данной емкости, и после достижения максимального предела задания будут регулироваться или помещаются в очередь.
Дополнительные сведения об ограничениях параллелизма Spark в Microsoft Fabric
Очередь заданий поддерживается для заданий записной книжки, которые активируются конвейерами или с помощью планировщика, а также для определений заданий Spark. Очередь не поддерживается для интерактивных заданий записных книжек и заданий записной книжки, активированных через общедоступный API записной книжки.
Очередь работает в режиме First-In-First-Out (FIFO), где задания добавляются в очередь на основе времени их отправки и постоянно извлекаются и начинают выполняться при освобождении емкости.
Примечание.
Очередь заданий Spark не поддерживается, если емкость Fabric находится в состоянии регулирования. Все новые отправленные задания будут отклонены.
После добавления задания в очередь его состояние обновляется до "Не запущено " в центре мониторинга. Записные книжки и определения заданий Spark при выборе из очереди и начале выполнения их состояние обновляется с not Started to In progress.
Примечание.
Срок действия очереди составляет 24 часа для всех заданий с момента их поступления в очередь. После достижения срока действия задания необходимо повторно отправить.
Размеры очередей
Fabric Spark применяет размеры очередей на основе размера SKU емкости, подключенной к рабочей области, предоставляя механизм регулирования и очереди, где пользователи могут отправлять задания на основе приобретенных номеров SKU емкости Fabric.
В следующем разделе перечислены различные размеры очередей для рабочих нагрузок Spark на основе Microsoft Fabric на основе номеров SKU емкости:
| Номер SKU емкости Fabric | Эквивалентный номер SKU Power BI | Ограничение очереди |
|---|---|---|
| F2 | - | 4 |
| F4 | - | 4 |
| F8 | - | 8 |
| F16 | - | 16 |
| F32 | - | 32 |
| F64 | P1 | 64 |
| F128 | P2 | 128 |
| F256 | P3 | 256 |
| F512 | P4 | 512 |
| F1024 | - | 1024 |
| F2048 | - | 2048 |
| Емкость пробной версии | P1 | Неприменимо |
Примечание.
Очереди не поддерживаются для емкостей пробной версии Fabric. Пользователям придется перейти на платный номер SKU Fabric F или P, чтобы использовать очередь для заданий Spark.
После достижения максимального предела очереди для емкости Fabric новые задания будут регулироваться с сообщением об ошибке [TooManyRequestsForCapacity] Это задание spark не может быть запущено, так как вы получили ограничение скорости вычислений Spark или API. Чтобы запустить это задание Spark, отмените активное задание Spark через центр мониторинга, выберите номер SKU большей емкости или повторите попытку позже. Код состояния HTTP: 430 {Подробнее} Код состояния HTTP: 430.
Связанный контент
- Сведения о выставлении счетов и использовании для Spark в Microsoft Fabric.
- Узнайте о вычислительных ресурсах Spark для проектирования и обработки и анализа данных Fabric .