Taken parameteriseren

Dit artikel bevat een overzicht van het gebruik van parameters met werk en taken.

Hieronder volgen basisconcepten voor het begrijpen van parameters voor taken:

• Taakparameter: Een sleutel-waardepaar dat is gedefinieerd op taakniveau en naar taken wordt gepusht. Zie Taak configureren parameters.
• Taakparameter: Een sleutel-waardepaar of JSON-matrix die is gedefinieerd op taakniveau. Zie Taak configureren parameters.
• Dynamische waardeverwijzingen: een syntaxis voor verwijzingen naar taakvoorwaarden, metagegevens en parameters. Zie Wat is een verwijzing naar dynamische waarden?
• taak values: een syntaxis voor het vastleggen en verwijzen naar values gegenereerd tijdens taakuitvoeringen. Zie Taak values gebruiken om informatie door te geven tussen taken.

Wat kunt u doen met parameters?

Voeg parameters toe aan banen en taken voor geavanceerde gebruiksscenario's, waaronder de volgende:

• Voeg uitbreidbare logica toe aan codeassets.
• Uitvoeringen voorwaardelijk maken.
• Verwijs bij meerdere taken naar de veelvoorkomende parameters.
• Gebruik gegevens die zijn gegenereerd in de ene taak in een andere taak.
• Naslaginformatie over metagegevens en statusgegevens in de taakuitvoering.

Wat is het verschil tussen taak en taak parameters?

Taak parameters zijn sleutel-waardeparen die zijn gedefinieerd op taakniveau. U kunt de standaardinstellingen voor taak-parameters overschrijven wanneer u nu Uitvoeren met verschillende parameters of een taakuitvoering activeert met behulp van de REST API. Taak parameters wordt doorgeschoven naar taken die gebruikmaken van sleutel-waarde parameters. Andere taken kunnen verwijzen naar parameters met behulp van dynamische waardeverwijzingen.

Taak parameters zijn sleutel-waardeparen van JSON-matrices die zijn gedefinieerd op taakniveau. Elk taaktype geeft taak values op een andere manier door aan de geconfigureerde codeassets. Notebook-taken maken bijvoorbeeld gebruik van de dbutils.widgets submodule, terwijl Python-scripts values als argumenten doorgeven aan het script alsof deze vanaf de opdrachtregel worden aangeroepen. Downstreamtaken kunnen verwijzen naar taak parameters van upstream-taken met behulp van dynamische waardeverwijzingen.

Notitie

Sommige taken hebben geen toegewezen Parameters veld, maar staan verwijzingen naar taakverwijzingen values of dynamische waardeverwijzingen binnen andere velden toe. Zie Voorbeelden van geparameteriseerde dbt-opdrachten en vertakkingslogica toevoegen aan een taak met de taak If/else.

Werkstromen bouwen met dynamische values

Taak parametersset met statische values kan alleen worden overschreven door de taakdefinitie bij te werken. Het instellen van een statische waarde voor een taakparameter is het configureren van een standaardwaarde, die u kunt overschrijven wanneer u nu Uitvoeren met andere parameters of een taakuitvoering activeert met behulp van de REST API.

Gebruik dynamische waardeverwijzingen bij het definiëren van taak parameters om patronen zoals de volgende te implementeren:

• Gebruik een taakparameter als taakparameter voor de output_table ene taak en voor de input_table andere.
• Leg de uitvoer van een notebookquery vast als een list en doorloop deze in een voor elke taak.
• Het maken van een forkinglogica op basis van het aantal records dat is verwerkt met behulp van een If/else-voorwaardetaak .
• Raadpleeg parameters uit andere taken.

Zie Wat is een verwijzing naar dynamische waarden?