Come funziona Gestione orchestrazione flussi di lavoro di Azure?
SI APPLICA A: Azure Data Factory
Azure Synapse Analytics
Suggerimento
Provare Data Factory in Microsoft Fabric, una soluzione di analisi all-in-one per le aziende. Microsoft Fabric copre tutto, dallo spostamento dati al data science, all'analisi in tempo reale, alla business intelligence e alla creazione di report. Vedere le informazioni su come iniziare una nuova prova gratuita!
Nota
Il gestore dell'orchestrazione del flusso di lavoro dispone di tecnologia Apache Airflow.
Nota
Gestore dell'orchestrazione del flusso di lavoro per Azure Data Factory si basa sull'applicazione Apache Airflow open source. La documentazione e altre esercitazioni per Airflow sono disponibili nelle pagine della documentazione o della community di Apache Airflow.
Workflow Orchestration Manager in Azure Data Factory usa grafici Aciclici diretti (DAG) basati su Python per eseguire i flussi di lavoro di orchestrazione. Per usare questa funzionalità, è necessario fornire i dag e i plug-in in Archiviazione BLOB di Azure o tramite il repository GitHub. È possibile avviare l'interfaccia utente airflow da ADF usando un'interfaccia della riga di comando (CLI) o un software development kit (SDK) per gestire i dag.
Creare un ambiente di Workflow Orchestration Manager
Fare riferimento a: Creare un ambiente di Gestione orchestrazione flussi di lavoro
Importare gruppi di disponibilità del database
Workflow Orchestration Manager offre due metodi distinti per il caricamento di gruppi di disponibilità da file di origine Python nell'ambiente airflow. Questi metodi sono:
Abilita sincronizzazione Git: questo servizio consente di sincronizzare il repository GitHub con Workflow Orchestration Manager, consentendo di importare i dag direttamente dal repository GitHub. Fare riferimento a: Sincronizzare un repository GitHub in Workflow Orchestration Manager
Archiviazione BLOB di Azure: È possibile caricare i dag, i plug-in e così via in una cartella designata all'interno di un account di archiviazione BLOB collegato ad Azure Data Factory. Quindi, si importa il percorso del file della cartella in Workflow Orchestration Manager. Fare riferimento a: Importare gruppi di disponibilità del database con Archiviazione BLOB di Azure
Rimuovere i dag dall'ambiente Airflow
Fare riferimento a: Eliminare i dag in Workflow Orchestration Manager
Monitorare le esecuzioni di DAG
Per monitorare i dag Airflow, accedere all'interfaccia utente di Airflow con il nome utente e la password creati in precedenza.
Selezionare l'ambiente Airflow creato.
Accedere usando la password del nome utente specificata durante la creazione del runtime di integrazione Airflow. È possibile reimpostare il nome utente o la password modificando il runtime di integrazione airflow, se necessario.
Risoluzione dei problemi relativi all'importazione daG
Problema: l'importazione DAG richiede più di 5 minuti di mitigazione: ridurre le dimensioni dei dag importati con una singola importazione. Un modo per ottenere questo risultato consiste nel creare più cartelle DAG con gruppi di disponibilità dati inferiori in più contenitori.
Problema: i DAG importati non vengono visualizzati quando si accede all'interfaccia utente di Airflow. Mitigazione: accedere all'interfaccia utente di Airflow e verificare se sono presenti errori di analisi DAG. Questo problema può verificarsi se i file DAG contengono codice incompatibile. Troverai i numeri di riga e i file esatti, che presentano il problema tramite l'interfaccia utente airflow.