Задача потока обработки DLT для задач
Задания предоставляют процедурный подход к определению связей между задачами. Конвейеры DLT обеспечивают декларативный подход к определению связей между наборами данных и преобразованиями . На этой странице описывается, как запланировать запуск конвейеров DLT в качестве задачи в задании Databricks с помощью пользовательского интерфейса заданий, пользовательского интерфейса конвейера DLT или SQL.
Заметка
Конвейер , активироваемый DLT, — это конвейер, который не выполняется непрерывно, но должен запускаться для запуска. Задача конвейера может быть механизмом активации для активированного конвейера DLT. Непрерывные конвейеры не нужно запускать, поэтому их активация с помощью задачи будет избыточной. Дополнительные сведения о триггерах и непрерывных конвейерах см. в разделе "Триггер и режим непрерывного конвейера".
Настройка задачи конвейера DLT с помощью пользовательского интерфейса заданий
Конвейеры DLT управляют всеми конфигурациями исходного кода и вычислениями в определении конвейера.
Чтобы добавить конвейер в задание, выполните следующие действия.
- Создайте и назовите новую задачу и выберите конвейер DLT для типа .
- В раскрывающемся меню конвейера выберите существующий конвейер DLT.
- При необходимости можно активировать полное обновление в конвейере DLT.
Внимание
С задачей Конвейер можно использовать только активированные конвейеры. Непрерывные конвейерные процессы не поддерживаются в качестве задания.
Планирование конвейера DLT с помощью пользовательского интерфейса конвейера
Добавление расписания в поток создает задание с одной задачей потока. Триггеры расписания на основе времени можно настроить только с помощью этого пользовательского интерфейса. Для более продвинутых вариантов триггеров см. раздел Настройка задачи конвейера DLT с помощью пользовательского интерфейса заданий.
Настройте задачу конвейера в запланированном задании с помощью пользовательского интерфейса конвейера, выполнив следующие действия.
- Щелкните DLT на боковой панели.
- Щелкните имя трубопровода. Появится пользовательский интерфейс конвейера.
- Щелкните Расписание.
- Если для конвейера нет расписания, появится диалоговое окно Новое расписание.
- Если уже существует одно или несколько расписаний, щелкните Добавить расписание.
- Введите уникальное имя для задания в поле Имя задания.
- (Необязательно) Обновите частоту расписания.
- Выберите Advanced для более подробных параметров, включая синтаксис cron.
- (Необязательно) В разделе дополнительные параметрынастройте один или несколько адресов электронной почты для получения оповещений о запуске конвейера, успешном выполнении или сбое.
- Щелкните Создать.
Заметка
Если конвейер включен в одно или несколько запланированных заданий, кнопка «Расписание» отображает количество существующих расписаний, например, Расписание (5).
Добавление расписания в материализованное представление или потоковую таблицу в Databricks SQL
Материализованные представления и таблицы потоковой передачи, определенные в Databricks SQL, поддерживают планирование на основе времени, указанное в командах CREATE или ALTER.
Дополнительные сведения см. в следующих статьях: