Непрерывное выполнение заданий

Используйте непрерывный режим для планирования рабочих нагрузок для непрерывного выполнения. Databricks рекомендует использовать непрерывный режим для рабочих нагрузок потоковой передачи.

Непрерывный режим заменяет устаревшие рекомендации для рабочих нагрузок структурированной потоковой передачи для настройки заданий с неограниченной политикой повторных попыток и не более одного параллельного выполнения.

Внимание

Бессерверные вычисления для заданий не поддерживают непрерывный режим.

Настройка задания для выполнения в непрерывном режиме

Чтобы настроить задание для выполнения в непрерывном режиме, сделайте следующее:

1. На боковой панели щелкните "Рабочие процессы".
2. Щелкните название задания в столбце Название на вкладке Задания.
3. Щелкните Добавить триггер в панели сведений о задании, выберите Непрерывный в тип триггераи нажмите Сохранить.

Чтобы остановить непрерывное задание, нажмите кнопку "Приостановить ". Нажмите кнопку "Возобновить", чтобы перезапустить задание в непрерывном режиме.

Примечание.

• Существует только один запущенный экземпляр непрерывного задания.
• Задержка существует между завершением выполнения и новым запуском. Эта задержка должна быть менее 60 секунд.
• Нельзя использовать зависимости задач с непрерывным заданием.
• Нельзя использовать политики повторных попыток в непрерывном задании. Вместо этого непрерывные задания настраиваются на уровне задачи и задания для автоматическо й повторения с помощью экспоненциального экспоненциального алгоритма.
• Выберите Запустить сейчас, чтобы запустить новую итерацию задания в приостановленном цикле непрерывных заданий.
• Чтобы непрерывное задание взяло новую конфигурацию, отмените существующий запуск. Автоматически запускается новый запуск. Вы также можете нажать кнопку " Перезапустить" , чтобы перезапустить задание с обновленной конфигурацией.

Как обрабатываются сбои для непрерывных заданий?

Сбои на уровне задачи и задания управляются с помощью алгоритма экспоненциального экспоненциального отката.

Неудачные задачи выполняются повторно с экспоненциально увеличивающейся задержкой, пока не будет достигнуто максимальное число разрешенных повторных попыток. После достижения максимального количества повторных попыток выполнение отменяется и запускается новый запуск.

Последовательные сбои на уровне задания также управляются с помощью экспоненциального резервирования, что позволяет непрерывным заданиям выполняться без остановок и вернуться в работоспособное состояние при возникновении ошибок, которые могут быть устранены.

Если непрерывное задание превышает допустимое пороговое значение для последовательных сбоев, в следующем описано, как выполняются последующие запуски заданий:

1. Задание перезапущено после периода повтора, заданного системой.
2. Если следующий запуск задания завершается сбоем, период повтора увеличивается, а задание перезапускается после этого нового периода повтора.
   1. Для каждого последующего сбоя выполнения задания период повтора увеличивается до максимального периода повтора, заданного системой. После достижения максимального периода повтора задание продолжает выполняться с использованием максимального периода повтора. Количество повторных попыток непрерывного задания не ограничено.
   2. Если задание выполняется успешно и запускает новый запуск, или если выполнение превышает пороговое значение без сбоя, задание считается работоспособным, а последовательность отката сбрасывается.

Вы можете перезапустить непрерывное задание в экспоненциальном состоянии обратного выхода в пользовательском интерфейсе заданий или передать идентификатор задания в запрос POST /api/2.1/jobs/run-now в API заданий 2.1 или POST /api/2.0/jobs/run-now в API заданий 2.0.