Hoe werkt Azure Workflow Orchestration Manager?
VAN TOEPASSING OP: Azure Data Factory
Azure Synapse Analytics
Tip
Probeer Data Factory uit in Microsoft Fabric, een alles-in-één analyseoplossing voor ondernemingen. Microsoft Fabric omvat alles, van gegevensverplaatsing tot gegevenswetenschap, realtime analyses, business intelligence en rapportage. Meer informatie over het gratis starten van een nieuwe proefversie .
Notitie
Workflow Orchestration Manager wordt mogelijk gemaakt door Apache Airflow.
Notitie
Werkstroomindelingsbeheer voor Azure Data Factory is afhankelijk van de open source Apache Airflow-toepassing. Documentatie en meer zelfstudies voor Airflow vindt u op de Apache Airflow-documentatie of communitypagina's.
Workflow Orchestration Manager in Azure Data Factory maakt gebruik van op Python gebaseerde Gerichte Acyclic Graphs (DAG's) om uw indelingswerkstromen uit te voeren. Als u deze functie wilt gebruiken, moet u uw DAG's en invoegtoepassingen opgeven in Azure Blob Storage of via de GitHub-opslagplaats. U kunt de Airflow-gebruikersinterface van ADF starten met behulp van een opdrachtregelinterface (CLI) of een SDK (Software Development Kit) om uw DAG's te beheren.
Een werkstroomindelingsbeheeromgeving maken
Raadpleeg: Een werkstroomindelingsbeheeromgeving maken
DAG's importeren
Workflow Orchestration Manager biedt twee verschillende methoden voor het laden van DAG's van Python-bronbestanden in de omgeving van Airflow. Deze methoden zijn:
Git Sync inschakelen: met deze service kunt u uw GitHub-opslagplaats synchroniseren met Workflow Orchestration Manager, zodat u DAG's rechtstreeks vanuit uw GitHub-opslagplaats kunt importeren. Raadpleeg: Een GitHub-opslagplaats synchroniseren in Workflow Orchestration Manager
Azure Blob Storage: u kunt uw DAG's, invoegtoepassingen enzovoort uploaden naar een aangewezen map in een blob-opslagaccount dat is gekoppeld aan Azure Data Factory. Vervolgens importeert u het bestandspad van de map in Workflow Orchestration Manager. Raadpleeg: DAG's importeren met Behulp van Azure Blob Storage
DAG's verwijderen uit de Airflow-omgeving
Raadpleeg: DAG's verwijderen in Workflow Orchestration Manager
DAG-uitvoeringen bewaken
Als u de Airflow-DAG's wilt bewaken, meldt u zich aan bij de Gebruikersinterface van Airflow met de eerder gemaakte gebruikersnaam en het wachtwoord.
Selecteer de Airflow-omgeving die is gemaakt.
Meld u aan met het gebruikersnaam-wachtwoord dat is opgegeven tijdens het maken van Airflow Integration Runtime. (U kunt de gebruikersnaam of het wachtwoord opnieuw instellen door indien nodig de Airflow Integration Runtime te bewerken)
Problemen met IMPORT DAG oplossen
Probleem: HET importeren van DAG duurt langer dan 5 minuten: Verklein de grootte van de geïmporteerde DAG's met één import. Een manier om dit te bereiken is door meerdere DAG-mappen met minder DAG's te maken in meerdere containers.
Probleem: geïmporteerde DAG's worden niet weergegeven wanneer u zich aanmeldt bij de Gebruikersinterface van Airflow. Risicobeperking: meld u aan bij de gebruikersinterface van Airflow en kijk of er DAG-parseringsfouten zijn. Dit kan gebeuren als de DAG-bestanden incompatibele code bevatten. U vindt de exacte regelnummers en de bestanden, die het probleem hebben via de gebruikersinterface van Airflow.