Настройка и изменение задач Databricks
В этой статье рассматриваются инструкции по созданию, настройке и редактированию задач с помощью пользовательского интерфейса рабочей области Workflows .
Azure Databricks управляет задачами в качестве компонентов заданий Databricks. Задание имеет одну или несколько задач. Создайте задание в пользовательском интерфейсе рабочей области, настроив первую задачу. Сведения о настройке нового задания см. в разделе "Настройка и изменение заданий Databricks".
Каждая задача имеет связанный вычислительный ресурс, который запускает логику задачи. При использовании бессерверных ресурсов Azure Databricks настраивает вычислительные ресурсы. Если вы не используете бессерверные ресурсы, см. статью "Настройка вычислений для заданий".
Azure Databricks имеет другие точки входа и средства для настройки задач, в том числе следующие:
- Справочник по REST API заданий
- Что такое интерфейс командной строки Databricks?
- Создание запланированных заданий записной книжки и управление ими
Создание или настройка задачи
Чтобы изменить существующую задачу или добавить новую задачу с пользовательским интерфейсом рабочей области, выберите существующее задание, выполнив следующие действия:
- Щелкните рабочие процессы на боковой панели.
- В столбце Имя нажмите на имя задания.
- Перейдите на вкладку "Задачи ". Появится граф задач.
- Чтобы изменить задачу, щелкните имя задачи. Конфигурация задачи отображается под графом задач.
- Чтобы добавить задачу, нажмите кнопку .
Типы задач
Параметры конфигурации и инструкции зависят от задачи. Доступны следующие типы задач:
- Записная книжка
- Скрипт Python
- Колесо Python
- SQL
- Конвейер DLT
- dbt
- БАНКА
- Отправка Spark
- Выполнение задания
- If/else
- For each (Для каждого)
Клонирование задачи
Клонирование задач для копирования всех конфигураций существующей задачи, включая вышестоящей зависимости.
Чтобы клонировать задачу, сделайте следующее:
- Выберите задачу в графе задач.
- Нажмите кнопку .
- Укажите клонированную задачу и нажмите кнопку "Клонировать".
Удаление задачи
Чтобы удалить задачу, сделайте следующее:
- Выберите задачу в графе задач.
- Щелкните и выберите команду "Удалить задачу".
Копирование пути к задаче
Некоторые типы задач, например задачи записной книжки, позволяют скопировать путь к исходному коду задачи:
- Перейдите на вкладку "Задачи ".
- Выберите задачу, содержащую путь, который нужно скопировать.
- Щелкните рядом с путем задачи, чтобы скопировать путь к буферу обмена.
Дополнительные параметры задачи
Следующие расширенные параметры управляют повторными попытками для неудачных задач и политик времени ожидания для неответственных задач.
Примечание.
Вы можете задать уведомления на уровне задачи или задания. См. статью "Добавление уведомлений по электронной почте и системе" для событий задания.
Настройка политики повторных попыток
Параметр по умолчанию для повторных попыток задачи зависит от конфигурации задания. Для большинства конфигураций параметр по умолчанию не повторяет никаких задач при сбое задачи.
Бессерверные задания автоматически оптимизируют повторные попытки по умолчанию. См. раздел "Настройка автоматической оптимизации бессерверных вычислений для запрета повторных попыток"
Непрерывные задания используют экспоненциальную политику повторных попыток. Узнайте, как обрабатываются сбои для непрерывных заданий?
Чтобы настроить политику, которая определяет, когда и сколько раз выполняется неудачная задача, нажмите кнопку + Добавить рядом с повторными попытками.
Интервал повторных попыток измеряется в миллисекундах между началом неудачного выполнения и последующим повторным выполнением.
Примечание.
Если вы настроите и Время ожидания, и Повторные попытки, то время ожидания будет применяться к каждой повторной попытке.
Настройка пороговых значений для времени выполнения задачи или метрик отставания потока
Важный
Наблюдаемость потоковых данных в Databricks доступна в общедоступной предварительной версии .
Можно настроить необязательные пороговые значения для длительности выполнения задачи или метрик очереди потоковой обработки. Чтобы настроить пороговые значения длительности или пороговые значения метрик потоковой передачи, щелкните пороговые значения метрик на панели конфигурации задачи.
Чтобы настроить пороговые значения длительности задачи, включая ожидаемое и максимальное время завершения задачи, выберите время выполнения в раскрывающемся меню метрики. Введите длительность в поле Предупреждение, чтобы настроить ожидаемое время завершения задачи. Если выполнение задачи превышает это пороговое значение, активируется событие. Чтобы настроить максимальное время завершения для задачи, введите максимальную длительность в поле "Время ожидания ". Если задача не завершена в это время, Azure Databricks задает для него значение Timed Out.
Чтобы настроить пороговое значение для метрики отставания потоковой передачи, выберите метрику в раскрывающемся меню Метрика и введите значение порога. Дополнительные сведения о конкретных метриках, поддерживаемых источником потоковой передачи, см. в разделе Просмотр метрик для задач потоковой передачи.
Введите длительность в поле "Предупреждение" , чтобы настроить ожидаемое время завершения задачи. Если задача превышает это пороговое значение, активируется событие. Это событие можно использовать для уведомления о медленном выполнении задачи. См. настройте уведомления при превышении порогового значения.
Чтобы настроить максимальное время завершения для задачи, введите максимальную длительность в поле "Время ожидания ". Если задача не завершена в это время, Azure Databricks задает для него значение Timed Out.
Если событие активируется из-за превышения порогового значения, можно использовать событие для отправки уведомления. См. настройка уведомлений при превышении порогового значения.