Поделиться через

Задача конвейера разностных динамических таблиц для заданий

  • Статья

В этой статье описывается, как запланировать запуск триггерных конвейеров Delta Live Tables в качестве задачи в задании Databricks.

Настройка задачи конвейера Delta Live Tables с помощью пользовательского интерфейса заданий

Конвейеры Delta Live Tables управляют всеми конфигурациями и вычислениями исходного кода, указанными в определении конвейера.

Чтобы добавить конвейер обработки данных в задание, создайте новую задачу, присвойте ей имя и выберите конвейер Delta Live Tables для типа .

В раскрывающемся меню конвейера выберите существующий конвейер Delta Live Tables.

При необходимости можно выполнить полное обновление в конвейере Delta Live Tables.

Внимание

С задачей Конвейер можно использовать только активированные конвейеры. Непрерывные конвейеры не поддерживаются в качестве задачи задания. Дополнительные сведения о триггерах и непрерывных конвейерах см. в разделе "Триггер и режим непрерывного конвейера".

Запланируйте конвейер с помощью интерфейса конвейера

Добавление расписания в поток создает задание с одной задачей потока. Триггеры расписания на основе времени можно настроить только с помощью этого пользовательского интерфейса. Дополнительные варианты активации см. в разделе Настройка задачи конвейера delta Live Tables с помощью пользовательского интерфейса заданий.

Настройте задачу конвейера в запланированном задании с помощью пользовательского интерфейса конвейера, выполнив следующие действия.

  1. Щелкните Delta Live Tables на панели сбоку.
  2. Щелкните имя конвейера. Появится пользовательский интерфейс конвейера.
  3. Щелкните Расписание.
    • Если для конвейера нет расписания, появится диалоговое окно Новое расписание.
    • Если уже существует одно или несколько расписаний, щелкните Добавить расписание.
  4. Введите уникальное имя для задания в поле Имя задания.
  5. (Необязательно) Обновите частоту расписания.
    • Выберите Advanced для более подробных параметров, включая синтаксис cron.
  6. (Необязательно) В разделе дополнительные параметрынастройте один или несколько адресов электронной почты для получения оповещений о запуске конвейера, успешном выполнении или сбое.
  7. Щелкните Создать.

Заметка

Если конвейер включен в одно или несколько запланированных заданий, кнопка «Расписание» отображает количество существующих расписаний, например, Расписание (5).

Добавление расписания в материализованное представление или потоковую таблицу в Databricks SQL

Материализованные представления и таблицы потоковой передачи, определенные в Databricks SQL, поддерживают планирование на основе времени, указанное в командах CREATE или ALTER.

Дополнительные сведения см. в следующих статьях: