Azure Workflow Orchestration Manager는 어떻게 작동하나요?
적용 대상: 
Azure Data Factory 
Azure Synapse Analytics
팁
기업용 올인원 분석 솔루션인 Microsoft Fabric의 Data Factory를 사용해 보세요. Microsoft Fabric은 데이터 이동부터 데이터 과학, 실시간 분석, 비즈니스 인텔리전스 및 보고에 이르기까지 모든 것을 다룹니다. 무료로 새 평가판을 시작하는 방법을 알아봅니다!
참고 항목
워크플로 오케스트레이션 매니저는 Apache Airflow를 통해 구동됩니다.
참고 항목
Azure Data Factory용 워크플로 오케스트레이션 매니저는 오픈 소스 Apache Airflow 애플리케이션을 사용합니다. Airflow에 대한 설명서 및 추가 자습서는 Apache Airflow 설명서 또는 커뮤니티 페이지에서 찾을 수 있습니다.
Azure Data Factory의 워크플로 오케스트레이션 관리자는 Python 기반 DAG(Directed Acyclic Graph)를 사용하여 오케스트레이션 워크플로를 실행합니다. 이 기능을 사용하려면 Azure Blob Storage 또는 GitHub 리포지토리를 통해 DAG 및 플러그 인을 제공해야 합니다. CLI(명령줄 인터페이스) 또는 SDK(소프트웨어 개발 키트)를 사용하여 ADF에서 Airflow UI를 시작하고 DAG를 관리할 수 있습니다.
워크플로 오케스트레이션 관리자 환경 만들기
DAG 가져오기
워크플로 오케스트레이션 관리자는 Python 원본 파일에서 Airflow의 환경으로 DAG를 로드하는 두 가지 고유한 메서드를 제공합니다. 이러한 메서드는 다음과 같습니다.
Git 동기화 사용: 이 서비스를 사용하면 GitHub 리포지토리를 워크플로 오케스트레이션 관리자와 동기화하여 GitHub 리포지토리에서 DAG를 직접 가져올 수 있습니다. 참조: 워크플로 오케스트레이션 관리자에서 GitHub 리포지토리 동기화
Azure Blob Storage: Azure Data Factory와 연결된 Blob Storage 계정 내의 지정된 폴더에 DAG, 플러그 인 등을 업로드할 수 있습니다. 그런 다음 워크플로 오케스트레이션 관리자에서 폴더의 파일 경로를 가져옵니다. 참조: Azure Blob Storage를 사용하여 DAG 가져오기
Airflow 환경에서 DAG 제거
DAG 실행 모니터링
Airflow DAG를 모니터링하려면 이전에 만든 사용자 이름 및 암호를 사용하여 Airflow UI에 로그인합니다.
만들었던 Airflow 환경을 선택합니다.
Airflow Integration Runtime을 만드는 동안 제공된 사용자 이름 및 암호를 사용하여 로그인합니다. (필요한 경우 Airflow 통합 런타임을 편집하여 사용자 이름 또는 암호를 다시 설정할 수 있음)
DAG 가져오기 문제 해결
문제: DAG 가져오기에 5분 이상 소요됩니다. 완화: 단일 가져오기로 가져오는 DAG의 크기를 줄입니다. 크기를 주리는 한 가지 방법은 여러 컨테이너에 걸쳐 더 적은 DAG를 포함한 여러 DAG 폴더를 만드는 것입니다.
문제: Airflow UI에 로그인할 때 가져온 DAG가 표시되지 않습니다. 완화: Airflow UI에 로그인하고 DAG 구문 분석 오류가 있는지 확인합니다. DAG 파일에 호환되지 않는 코드가 포함된 경우 이 오류가 발생할 수 있습니다. Airflow UI를 통해 문제가 있는 정확한 줄 번호와 파일을 찾을 수 있습니다.
