Непрерывное выполнение заданий

Используйте непрерывный режим для планирования рабочих нагрузок для непрерывного выполнения. Databricks рекомендует использовать непрерывный режим для рабочих нагрузок потоковой передачи.

Непрерывный режим заменяет устаревшие рекомендации для рабочих нагрузок структурированной потоковой передачи для настройки заданий с неограниченной политикой повторных попыток и не более одного параллельного выполнения.

Внимание

Бессерверные вычисления для заданий не поддерживают непрерывный режим.

Настройка задания для выполнения в непрерывном режиме

Чтобы настроить задание для выполнения в непрерывном режиме, сделайте следующее:

1. На боковой панели щелкните "Рабочие процессы".
2. Щелкните имя задания в имениcolumn на вкладке задания.
3. Щелкните Добавить триггер на панели сведений о задании selectнепрерывной в тип триггераи нажмите кнопку Сохранить.

Чтобы остановить непрерывное задание, нажмите кнопку "Приостановить ". Нажмите кнопку "Возобновить", чтобы перезапустить задание в непрерывном режиме.

Примечание.

• Существует только один запущенный экземпляр непрерывного задания.
• Задержка существует между завершением выполнения и новым запуском. Эта задержка должна быть менее 60 секунд.
• Нельзя использовать зависимости задач с непрерывным заданием.
• Нельзя использовать политики повторных попыток с непрерывным заданием. Вместо этого непрерывные задания используют экспоненциальный откат для управления сбоями выполнения задания.
• Select Запустите сейчас, чтобы инициировать новое выполнение задания на приостановленной непрерывной работе.
• Чтобы непрерывное задание взяло новую конфигурацию, отмените существующий запуск. Автоматически запускается новый запуск. Вы также можете нажать кнопку " Перезапустить" , чтобы перезапустить задание с обновленной конфигурацией.

Как обрабатываются сбои для непрерывных заданий?

Azure Databricks использует экспоненциальную схему обратного выхода для управления непрерывными заданиями с несколькими последовательными сбоями. Экспоненциальная обратная передача позволяет непрерывным заданиям выполняться без приостановки и вернуться в работоспособное состояние при возникновении сбоев, доступных для восстановления.

Если непрерывное задание превышает допустимое пороговое значение для последовательных сбоев, в следующем описано, как выполняются последующие запуски заданий:

1. Система перезапускает задание после периода повторной попытки set.
2. Если следующий запуск задания завершается сбоем, период повтора увеличивается, а задание перезапускается после этого нового периода повтора.
   1. Для каждого последующего сбоя выполнения задания система увеличивает период повтора до максимального периода set. После достижения максимального периода повтора задание продолжает выполняться с использованием максимального периода повтора. В количестве повторных попыток для непрерывного задания отсутствует limit.
   2. Если задание выполняется успешно и запускает новый запуск, или если выполнение превышает пороговое значение без сбоя, задание считается работоспособным, а последовательность отката сбрасывается.

Вы можете перезапустить непрерывное задание в экспоненциальном состоянии обратного выхода в пользовательском интерфейсе заданий или передать идентификатор задания в запрос POST /api/2.1/jobs/run-now в API заданий 2.1 или POST /api/2.0/jobs/run-now в API заданий 2.0.