Taken parameteriseren

Dit artikel bevat een overzicht van het gebruik van parameters met taken en taken.

Hieronder volgen basisconcepten voor het begrijpen van parameters voor taken:

• Taakparameter: Een sleutel-waardepaar dat is gedefinieerd op taakniveau en naar taken wordt gepusht. Zie Taakparameters configureren.
• Taakparameter: Een sleutel-waardepaar of JSON-matrix die is gedefinieerd op taakniveau. Zie Taakparameters configureren.
• Dynamische waardeverwijzingen: een syntaxis voor verwijzingen naar taakvoorwaarden, metagegevens en parameters. Zie Wat is een verwijzing naar dynamische waarden?
• Taakwaarden: een syntaxis voor het vastleggen en verwijzen naar waarden die tijdens de taakuitvoeringen zijn gegenereerd. Zie Taakwaarden gebruiken om informatie door te geven tussen taken.

Wat kunt u doen met parameters?

Voeg parameters toe aan taken en taken voor geavanceerde use cases, waaronder de volgende:

• Voeg uitbreidbare logica toe aan codeassets.
• Uitvoeringen voorwaardelijk maken.
• Verwijzen naar algemene parameters voor meerdere taken.
• Gebruik gegevens die zijn gegenereerd in de ene taak in een andere taak.
• Naslaginformatie over metagegevens en statusgegevens in de taakuitvoering.

Wat is het verschil tussen taak- en taakparameters?

Taakparameters zijn sleutel-waardeparen die zijn gedefinieerd op taakniveau. U kunt de standaardinstellingen voor taakparameters overschrijven wanneer u nu uitvoert met verschillende parameters of een taakuitvoering activeren met behulp van de REST API. Taakparameters worden omlaag gepusht naar taken die gebruikmaken van sleutel-waardeparameters. Andere taken kunnen verwijzen naar taakparameters met behulp van dynamische waardeverwijzingen.

Taakparameters zijn sleutel-waardeparen van JSON-matrices die zijn gedefinieerd op taakniveau. Elk taaktype geeft taakwaarden anders door aan de geconfigureerde codeassets. Notebook-taken maken bijvoorbeeld gebruik van de dbutils.widgets submodule, terwijl Python-scripts waarden doorgeven als argumenten aan het script alsof deze vanaf de opdrachtregel worden aangeroepen. Downstreamtaken kunnen verwijzen naar taakparameters van upstream-taken met behulp van dynamische waardeverwijzingen.

Notitie

Sommige taken hebben geen toegewezen parametersveld , maar staan verwijzingen naar taakwaarden of dynamische waardeverwijzingen binnen andere velden toe. Zie Voorbeelden van geparameteriseerde dbt-opdrachten en vertakkingslogica toevoegen aan een taak met de taak If/else.

Werkstromen bouwen met dynamische waarden

Taakparameters die zijn ingesteld met statische waarden, kunnen alleen worden overschreven door de taakdefinitie bij te werken. Het instellen van een statische waarde voor een taakparameter is het configureren van een standaardwaarde, die u kunt overschrijven wanneer u nu uitvoert met verschillende parameters of een taakuitvoering activeren met behulp van de REST API.

Gebruik dynamische waardeverwijzingen bij het definiëren van taakparameters om patronen zoals de volgende te implementeren:

• Gebruik een taakparameter als taakparameter voor de output_table ene taak en voor de input_table andere.
• Leg de uitvoer van een notebookquery vast als een lijst en loop erover in een voor elke taak.
• Het maken van een forkinglogica op basis van het aantal records dat is verwerkt met behulp van een If/else-voorwaardetaak .
• Raadpleeg de parameters van andere taken.

Zie Wat is een verwijzing naar dynamische waarden?