Hur fungerar Azure Workflow Orchestration Manager?
GÄLLER FÖR: Azure Data Factory
Azure Synapse Analytics
Dricks
Prova Data Factory i Microsoft Fabric, en allt-i-ett-analyslösning för företag. Microsoft Fabric omfattar allt från dataflytt till datavetenskap, realtidsanalys, business intelligence och rapportering. Lär dig hur du startar en ny utvärderingsversion kostnadsfritt!
Kommentar
Workflow Orchestration Manager drivs av Apache Airflow.
Kommentar
Workflow Orchestration Manager för Azure Data Factory förlitar sig på öppen källkod Apache Airflow-programmet. Dokumentation och fler självstudier för Airflow finns på Apache Airflow-dokumentationen eller community-sidorna.
Workflow Orchestration Manager i Azure Data Factory använder Python-baserade Acyclic Graphs (DAG:er) för att köra dina orkestreringsarbetsflöden. Om du vill använda den här funktionen måste du ange dina DAG:er och plugin-program i Azure Blob Storage eller via GitHub-lagringsplatsen. Du kan starta Airflow-användargränssnittet från ADF med hjälp av ett kommandoradsgränssnitt (CLI) eller ett programutvecklingspaket (SDK) för att hantera dina DAG:er.
Skapa en Arbetsflödesorkestreringshanterare-miljö
Se: Skapa en Arbetsflödesorkestreringshanterare-miljö
Importera DAG:er
Workflow Orchestration Manager innehåller två olika metoder för att läsa in DAG:er från python-källfiler till Airflows miljö. Dessa metoder är:
Aktivera Git Sync: Med den här tjänsten kan du synkronisera din GitHub-lagringsplats med Workflow Orchestration Manager, så att du kan importera DAG:er direkt från din GitHub-lagringsplats. Se: Synkronisera en GitHub-lagringsplats i Workflow Orchestration Manager
Azure Blob Storage: Du kan ladda upp dina DAG:er, plugin-program osv. till en angiven mapp i ett bloblagringskonto som är länkat till Azure Data Factory. Sedan importerar du filsökvägen för mappen i Workflow Orchestration Manager. Se: Importera DAG:er med Azure Blob Storage
Ta bort DAG:er från airflow-miljön
Se: Ta bort DAG:er i Arbetsflödesorkestreringshanteraren
Övervaka DAG-körningar
Om du vill övervaka Airflow DAG:er loggar du in i Airflow-användargränssnittet med det tidigare skapade användarnamnet och lösenordet.
Välj i den Airflow-miljö som skapats.
Logga in med det användarnamn och lösenord som angavs när Airflow Integration Runtime skapades. (Du kan återställa användarnamnet eller lösenordet genom att redigera Airflow Integration-körningen om det behövs)
Felsöka problem med import-DAG
Problem: DAG-importen tar över 5 minuter: Minska storleken på de importerade DAG:erna med en enda import. Ett sätt att uppnå detta är genom att skapa flera DAG-mappar med mindre DAG:er i flera containrar.
Problem: Importerade DAG:er visas inte när du loggar in i Airflow-användargränssnittet. Åtgärd: Logga in i airflow-användargränssnittet och se om det finns några DAG-parsningsfel. Detta kan inträffa om DAG-filerna innehåller någon inkompatibel kod. Du hittar de exakta radnumren och filerna, som har problemet via Airflow-användargränssnittet.