Parametrizzare i processi

Questo articolo fornisce informazioni generali sull'uso di parametri con processi e task.

Di seguito sono riportati i concetti fondamentali per comprendere i parametri per i processi:

• Parametro del processo: coppia chiave-valore definita a livello di processo e inserita nei task. Vedere Configurare i parametri del processo.
• Parametro del task: coppia chiave-valore o matrice JSON definita a livello di task. Vedere Configurare i parametri dei task.
• Riferimenti a valori dinamici: una sintassi per i riferimenti a condizioni di processo, metadati e parametri. Vedere Che cos'è un riferimento a valori dinamici?.
• Valori task: una sintassi per l'acquisizione e il riferimento ai valori generati durante l'esecuzione del task. Vedere Usare i valori dei task per passare informazioni tra task.

A cosa servono i parametri?

Aggiungere parametri a processi e task per casi d'uso avanzati, inclusi i seguenti:

• Aggiungere logica estendibile alle risorse asset di codice.
• Definire condizioni per le esecuzioni.
• Fare riferimento a parametri comuni tra più task.
• Usare le informazioni generate in un'attività in un'altra attività.
• Fare riferimento a metadati e informazioni sullo stato nell'esecuzione del processo.

Qual è la differenza tra i parametri del processo e quelli del task?

I parametri del processo sono coppie chiave-valore definite a livello di processo. È possibile ignorare le impostazioni predefinite per i parametri del processo quando si seleziona Esegui ora con parametri diversi o si attiva un'esecuzione di processo usando l'API REST. I parametri del processo vengono inseriti nei task che utilizzano parametri chiave-valore. Altri task possono fare riferimento a parametri di task usando riferimenti a valori dinamici.

I parametri del task sono coppie chiave-valore di matrici JSON definite a livello di task. Ogni tipo di attività passa i valori di task alle risorse di codice configurate in modo diverso. Ad esempio, i task del notebook usano il modulo secondario dbutils.widgets, mentre gli script Python passano i valori come argomenti allo script come se venisse richiamato dalla riga di comando. I task downstream possono fare riferimento ai parametri dei task da task upstream usando riferimenti a valori dinamici.

Nota

Alcuni task non presentano un campo Parametri dedicato, ma consentono l'uso di riferimenti ai valori di task o di riferimenti a valori dinamici all'interno di altri campi. Vedere Esempi di comandi dbt con parametri e Aggiungere logica di ramificazione a un processo con l'attività If/else.

Creare flussi di lavoro usando valori dinamici

I parametri dei task impostati con valori statici possono essere ignorati solo aggiornando la definizione del task. L'impostazione di un valore statico per un parametro del processo consiste solo nella configurazione di un valore predefinito, che è possibile ignorare quando si seleziona Esegui ora con parametri diversi o si attiva un'esecuzione di processo usando l'API REST.

Usare riferimenti a valori dinamici quando si definiscono i parametri di task per implementare criteri come i seguenti:

• Usare un parametro di processo come output_table per un task e input_table per un altro task.
• Acquisire l'output di una query del notebook come elenco ed eseguirne il loop in un task For each.
• Creazione della logica di fork in base al numero di record elaborati usando un'attività condizione If/else.
• Fare riferimento ai parametri di altri task.

Vedere Che cos'è un riferimento a valori dinamici?.