Параметризация заданий

В этой статье представлен обзор по использованию parameters с заданиями и задачами.

Ниже приведены основные понятия для понимания parameters заданий:

• Параметр задания: пара "ключ-значение", определенная на уровне задания и отложенная к задачам. См. раздел Настроить задание parameters.
• Параметр задачи: пара "ключ-значение" или массив JSON, определенный на уровне задачи. См. раздел Настройка задачи parameters.
• ссылки на динамические значения: синтаксис для ссылок на условия работы, метаданные и parameters. См . статью "Что такое ссылка на динамическое значение?".
• задача values: синтаксис записи и ссылки на values, созданные во время выполнения задач. См. , используйте задачу values для передачи сведений между задачами.

Что вы можете сделать с parameters?

Добавьте parameters в задания и задачи для расширенных вариантов использования, включая следующие:

• Добавьте расширяемую логику в ресурсы кода.
• Условные запуски.
• Ссылаться на общий parameters в нескольких задачах.
• Используйте сведения, созданные в одной задаче в другой задаче.
• Ссылки на метаданные и сведения о состоянии в выполнении задания.

Какова разница между заданием и задачей parameters?

Задача parameters — это пары "ключ-значение", определенные на уровне задачи. Вы можете переопределить параметры по умолчанию для задания parameters при выполняться с помощью разных parameters или активировать выполнение задания с помощью REST API. parameters задания передаются задачам, использующим parametersключ-значение. Другие задачи могут ссылаться на задания parameters с помощью динамических ссылок на значения.

Задача parameters представляет собой пары "ключ-значение" JSON-массивов, определяемых на уровне задачи. Каждый тип задачи передает задачу values по-разному в настроенные кодовые активы. Например, задачи записной книжки используют подмодул dbutils.widgets, а скрипты Python передают values в качестве аргументов в скрипт, как если бы он был вызван из командной строки. Подчиненные задачи могут ссылаться на задачи parameters из вышестоящих задач с помощью динамических ссылок на значения.

Примечание.

Некоторые задачи не имеют выделенного поля Parameters, но разрешают ссылки на задачи values или динамические ссылки на значения в других полях. См . примеры параметризованных команд dbt и добавление логики ветвления в задание с задачей If/else.

Создавайте рабочие процессы с помощью динамической values

Задача parametersset со статическим values может быть переопределена, только если обновить определение задачи. Установка статического значения для параметра задания просто настраивает значение по умолчанию, которое можно переопределить при запуска с помощью другого parameters или запуска задания с помощью REST API.

Используйте динамические ссылки на значения при определении parameters задачи для реализации шаблонов, таких как:

• Используйте параметр задания в качестве output_table одной задачи и input_table другой.
• Захватить выходные данные запроса записной книжки в виде list и циклировать его в для каждой задачи.
• Создание логики вилки на основе количества записей, обработанных с помощью задачи условия If/else.
• Обратитесь к parameters в других задачах.

См . статью "Что такое ссылка на динамическое значение?".