Поделиться через

Задача конвейера разностных динамических таблиц для заданий

  • Статья

Задания предоставляют процедурный подход к определению связей между задачами. Конвейеры Delta Live Tables обеспечивают декларативный подход к определению связей между наборами данных и преобразованиями. На этой странице описывается, как можно запланировать триггерные конвейеры Delta Live Tables для выполнения в качестве задачи в задании Databricks с помощью интерфейса заданий, интерфейса конвейера Delta Live Tables или SQL.

Заметка

-триггерованный конвейер Delta Live Tables — это конвейер, который не выполняется непрерывно и должен быть запущен вручную для начала работы. Задача конвейера может служить механизмом запуска для конвейера динамических таблиц Delta Live Tables с триггером. Непрерывные конвейеры не нужно запускать, поэтому их активация с помощью задачи будет избыточной. Дополнительные сведения о триггерах и непрерывных конвейерах см. в разделе "Триггер и режим непрерывного конвейера".

Настройка задачи конвейера Delta Live Tables с помощью пользовательского интерфейса заданий

Конвейеры Delta Live Tables управляют всеми конфигурациями и вычислениями исходного кода, указанными в определении конвейера.

Чтобы добавить конвейер в задание, выполните следующие действия.

  1. Создайте новую задачу, дайте ей имя и выберите конвейер Delta Live Tables для Типа .
  2. В раскрывающемся меню конвейера выберите существующий конвейер Delta Live Tables.
  3. При необходимости можно выполнить полное обновление в конвейере Delta Live Tables.

Внимание

С задачей Конвейер можно использовать только активированные конвейеры. Непрерывные конвейеры не поддерживаются в качестве задачи задания.

Запланировать конвейер Delta Live Tables через пользовательский интерфейс конвейера

Добавление расписания в поток создает задание с одной задачей потока. Триггеры расписания на основе времени можно настроить только с помощью этого пользовательского интерфейса. Дополнительные варианты активации см. в разделе Настройка задачи конвейера delta Live Tables с помощью пользовательского интерфейса заданий.

Настройте задачу конвейера в запланированном задании с помощью пользовательского интерфейса конвейера, выполнив следующие действия.

  1. Щелкните Delta Live Tables на панели сбоку.
  2. Щелкните имя конвейера. Появится пользовательский интерфейс конвейера.
  3. Щелкните Расписание.
    • Если для конвейера нет расписания, появится диалоговое окно Новое расписание.
    • Если уже существует одно или несколько расписаний, щелкните Добавить расписание.
  4. Введите уникальное имя для задания в поле Имя задания.
  5. (Необязательно) Обновите частоту расписания.
    • Выберите Advanced для более подробных параметров, включая синтаксис cron.
  6. (Необязательно) В разделе дополнительные параметрынастройте один или несколько адресов электронной почты для получения оповещений о запуске конвейера, успешном выполнении или сбое.
  7. Щелкните Создать.

Заметка

Если конвейер включен в одно или несколько запланированных заданий, кнопка «Расписание» отображает количество существующих расписаний, например, Расписание (5).

Добавление расписания в материализованное представление или потоковую таблицу в Databricks SQL

Материализованные представления и таблицы потоковой передачи, определенные в Databricks SQL, поддерживают планирование на основе времени, указанное в командах CREATE или ALTER.

Дополнительные сведения см. в следующих статьях: