Parametryzowanie zadań

Ten artykuł zawiera omówienie używania parametrów z zadaniami i zadaniami.

Poniżej przedstawiono podstawowe pojęcia dotyczące zrozumienia parametrów zadań:

• Parametr zadania: para klucz-wartość zdefiniowana na poziomie zadania i wypchnięta do zadań. Zobacz Konfigurowanie parametrów zadania.
• Parametr zadania: para klucz-wartość lub tablica JSON zdefiniowana na poziomie zadania. Zobacz Konfigurowanie parametrów zadania.
• Odwołania do wartości dynamicznych: składnia dla odwołań do warunków zadania, metadanych i parametrów. Zobacz Co to jest odwołanie do wartości dynamicznej?.
• Wartości zadań: składnia przechwytywania i odwoływania się do wartości generowanych podczas uruchamiania zadań. Zobacz Używanie wartości zadań do przekazywania informacji między zadaniami.

Co można zrobić z parametrami?

Dodaj parametry do zadań i zadań dla zaawansowanych przypadków użycia, w tym następujących:

• Dodaj rozszerzalną logikę do zasobów kodu.
• Warunkowe uruchamianie.
• Odwołuj się do typowych parametrów w wielu zadaniach.
• Użyj informacji wygenerowanych w jednym zadaniu w innym zadaniu.
• Odwołania do metadanych i informacji o stanie w uruchomieniu zadania.

Jaka jest różnica między parametrami zadania i zadania?

Parametry zadania to pary klucz-wartość zdefiniowane na poziomie zadania. Ustawienia domyślne parametrów zadania można zastąpić po uruchomieniu z różnymi parametrami lub wyzwolić uruchomienie zadania przy użyciu interfejsu API REST. Parametry zadania są wypychane do zadań, które używają parametrów klucz-wartość. Inne zadania mogą odwoływać się do parametrów zadania przy użyciu odwołań do wartości dynamicznych.

Parametry zadania to pary klucz-wartość tablic JSON zdefiniowane na poziomie zadania. Każdy typ zadania przekazuje wartości zadań do skonfigurowanych zasobów kodu inaczej. Na przykład zadania notesu używają modułu podrzędnego dbutils.widgets , podczas gdy skrypty języka Python przekazują wartości jako argumenty do skryptu tak, jakby były wywoływane z wiersza polecenia. Podrzędne zadania mogą odwoływać się do parametrów zadań nadrzędnych przy użyciu odwołań do wartości dynamicznych.

Uwaga

Niektóre zadania nie mają dedykowanego pola Parametry , ale umożliwiają odwołania do wartości zadań lub odwołania do wartości dynamicznych w innych polach. Zobacz Przykłady sparametryzowanych poleceń dbt i Dodaj logikę rozgałęziania do zadania za pomocą zadania If/else.

Tworzenie przepływów pracy przy użyciu wartości dynamicznych

Parametry zadania ustawione przy użyciu wartości statycznych można zastąpić tylko przez zaktualizowanie definicji zadania. Ustawienie wartości statycznej dla parametru zadania polega tylko na skonfigurowaniu wartości domyślnej, którą można zastąpić podczas uruchamiania teraz przy użyciu różnych parametrów lub wyzwalania uruchomienia zadania przy użyciu interfejsu API REST.

Użyj odwołań do wartości dynamicznych podczas definiowania parametrów zadania w celu zaimplementowania wzorców, takich jak:

• Użyj parametru zadania jako parametru output_table dla jednego zadania i drugiego input_table .
• Przechwyć dane wyjściowe zapytania notesu jako listę i przejmij ją w pętli dla każdego zadania.
• Tworzenie logiki rozwidlania na podstawie liczby przetworzonych rekordów przy użyciu zadania warunkowego If/else.
• Zapoznaj się z parametrami z innych zadań.

Zobacz Co to jest odwołanie do wartości dynamicznej?.