Jak działa program Azure Workflow Orchestration Manager?
DOTYCZY: Azure Data Factory Azure Synapse Analytics
Napiwek
Wypróbuj usługę Data Factory w usłudze Microsoft Fabric — rozwiązanie analityczne typu all-in-one dla przedsiębiorstw. Usługa Microsoft Fabric obejmuje wszystko, od przenoszenia danych do nauki o danych, analizy w czasie rzeczywistym, analizy biznesowej i raportowania. Dowiedz się, jak bezpłatnie rozpocząć nową wersję próbną !
Uwaga
Menedżer orkiestracji przepływu pracy jest obsługiwany przez platformę Apache Airflow.
Uwaga
Program Workflow Orchestration Manager dla usługi Azure Data Factory korzysta z aplikacji typu open source Apache Airflow. Dokumentację i więcej samouczków dotyczących rozwiązania Airflow można znaleźć na stronach dokumentacji lub społeczności platformy Apache Airflow.
Menedżer orkiestracji przepływu pracy w usłudze Azure Data Factory używa opartych na języku Python grafów Acyklicznych (DAG) do uruchamiania przepływów pracy aranżacji. Aby użyć tej funkcji, musisz podać grupy DAG i wtyczki w usłudze Azure Blob Storage lub za pośrednictwem repozytorium GitHub. Interfejs użytkownika platformy Airflow można uruchomić z poziomu usługi ADF przy użyciu interfejsu wiersza polecenia (CLI) lub zestawu sdk (software development kit), aby zarządzać grupami DAG.
Tworzenie środowiska menedżera orkiestracji przepływu pracy
Zapoznaj się z tematem: Tworzenie środowiska menedżera orkiestracji przepływu pracy
Importowanie grup DAG
Program Workflow Orchestration Manager udostępnia dwie różne metody ładowania grup DAG z plików źródłowych języka Python do środowiska airflow. Oto następujące metody:
Włącz usługę Git Sync: ta usługa umożliwia synchronizowanie repozytorium GitHub z programem Workflow Orchestration Manager, co umożliwia importowanie grup DAG bezpośrednio z repozytorium GitHub. Zapoznaj się z tematem: Synchronizowanie repozytorium GitHub w programie Workflow Orchestration Manager
Azure Blob Storage: możesz przekazać grupy DAG, wtyczki itp. do wyznaczonego folderu na koncie magazynu obiektów blob połączonym z usługą Azure Data Factory. Następnie zaimportujesz ścieżkę pliku folderu w programie Workflow Orchestration Manager. Zapoznaj się z tematem: Importowanie grup DAG przy użyciu usługi Azure Blob Storage
Usuwanie grup DAG ze środowiska Airflow
Zapoznaj się z tematem: Usuwanie grup DAG w menedżerze orkiestracji przepływu pracy
Monitorowanie przebiegów grup DAG
Aby monitorować grupy DAG przepływu powietrza, zaloguj się do interfejsu użytkownika aplikacji Airflow przy użyciu wcześniej utworzonej nazwy użytkownika i hasła.
Wybierz utworzone środowisko Airflow.
Zaloguj się przy użyciu hasła użytkownika podanego podczas tworzenia środowiska Airflow Integration Runtime. (W razie potrzeby możesz zresetować nazwę użytkownika lub hasło, edytując środowisko Airflow Integration Runtime )
Rozwiązywanie problemów z importowaniem grup DAG
Problem: Importowanie grup DAG zajmuje ponad 5 minut środki zaradcze: Zmniejsz rozmiar zaimportowanych grup DAG przy użyciu pojedynczego importu. Jednym ze sposobów osiągnięcia tego celu jest utworzenie wielu folderów DAG z mniejszymi grupami DAG w wielu kontenerach.
Problem: Zaimportowane grupy DAG nie są wyświetlane podczas logowania się do interfejsu użytkownika aplikacji Airflow. Środki zaradcze: zaloguj się do interfejsu użytkownika przepływu powietrza i sprawdź, czy występują błędy analizowania języka DAG. Może się tak zdarzyć, jeśli pliki DAG zawierają dowolny niezgodny kod. Znajdziesz dokładne numery wierszy i pliki, które mają problem za pośrednictwem interfejsu użytkownika przepływu powietrza.