Parametrisierte Jobs
Dieser Artikel enthält eine Übersicht über die Verwendung von Parametern mit Jobs und Aufgaben.
Im Folgenden sind grundlegende Konzepte für das Verständnis von Parametern für Jobs aufgeführt:
- Job-Parameter: Ein Schlüssel-Wert-Paar, das auf Job-Ebene definiert und an Aufgaben gedrückt wird. Siehe Konfigurieren von Job-Parametern.
- Aufgabenparameter: Ein Schlüssel-Wert-Paar oder eine JSON-Matrix, das/die auf Aufgabenebene definiert ist. Weitere Informationen finden Sie unter Konfigurieren von Aufgabenparametern.
- Dynamische Wertverweise: Eine Syntax für Verweise auf Job-Bedingungen, Metadaten und Parameter. Siehe Was ist eine dynamische Wertreferenz?.
- Aufgabenwerte: Eine Syntax zum Erfassen und Verweisen auf Werte, die während der Aufgabenausführung generiert wurden. Siehe Verwenden von Aufgabenwerten zur Weitergabe von Informationen zwischen Aufgaben..
Was kann man mit Parametern machen?
Fügen Sie Jobs und Aufgaben Parameter für erweiterte Anwendungsfälle hinzu, einschließlich der folgenden:
- Fügen Sie erweiterbare Logik zu Coderessourcen hinzu.
- Bedingungen für Ausführungen festlegen.
- Verweisen Sie auf allgemeine Parameter für mehrere Aufgaben.
- Verwenden Sie Informationen, die in einer Aufgabe in einer anderen Aufgabe generiert werden.
- Verweisen Sie auf Metadaten und Statusinformationen in der Job-Ausführung.
Was ist der Unterschied zwischen Job- und Aufgabenparametern?
Job-Parameter sind Schlüssel-Wert-Paare, die auf Auftragsebene definiert sind. Sie können die Standardeinstellungen für Job-Parameter außer Kraft setzen, wenn Sie jetzt mit verschiedenen Parametern ausführen oder einen Job mithilfe der REST-API auslösen. Job-Parameter werden an Aufgaben gedrückt, die Schlüsselwertparameter verwenden. Andere Aufgaben können mithilfe von dynamischen Wertverweise auf Job-Parameter verweisen.
Aufgabenparameter sind Schlüsselwertpaare von JSON-Matrizes, die auf Aufgabenebene definiert sind. Jede Vorgangsart übergibt Vorgangswerte an die konfigurierten Coderessourcen unterschiedlich. Beispielsweise verwenden Notebook-Aufgaben das dbutils.widgets
-Untermodul, während Python-Skripts Werte als Argumente an das Skript übergeben, als würden sie über die Befehlszeile aufgerufen werden. Nachgeschaltete Aufgaben können mithilfe von dynamischen Wertverweise auf Aufgabenparameter aus vorgelagerten Vorgängen verweisen.
Hinweis
Einige Aufgaben verfügen nicht über ein dediziertes Feld Parameter, erlauben jedoch Verweise auf Aufgabenwerte oder dynamische Wertverweise innerhalb anderer Felder. Siehe Beispiele für parametrisierte DBT-Befehle und Hinzufügen von Verzweigungslogik zu einem Auftrag mit der Aufgabe „Wenn/sonst“.
Erstellen von Workflows mit dynamischen Werten
Aufgabenparameter, die mit statischen Werten festgelegt werden, können nur durch Aktualisieren der Aufgabendefinition außer Kraft gesetzt werden. Das Festlegen eines statischen Werts für einen Job-Parameter ist nur das Konfigurieren eines Standardwerts, den Sie überschreiben können, wenn Sie jetzt mit verschiedenen Parametern ausführen oder einen Job mithilfe der REST-API auslösen können.
Verwenden Sie dynamische Wertverweise, wenn Sie Aufgabenparameter definieren, um Muster wie die folgenden zu implementieren:
- Verwenden Sie einen Job-Parameter als
output_table
für eine Aufgabe undinput_table
für eine andere. - Erfassen Sie die Ausgabe einer Notebook-Abfrage als Liste und durchlaufen Sie sie in einer Für jede-Aufgabe.
- Erstellen von Forking-Logik basierend auf der Anzahl der Datensätze, die mithilfe einer If/Else-Bedingung-Aufgabe verarbeitet werden.
- Verweisen Sie auf Parameter aus anderen Aufgaben.