다음을 통해 공유

Apache Airflow Job이란?

  • 아티클

참고 항목

Apache Airflow 작업은 Apache Airflow에서 구동됩니다.

Apache Airflow 작업은 Azure Data Factory의 워크플로 오케스트레이션 관리자의 차세대 작업입니다. Apache Airflow 오케스트레이션 작업을 만들고 관리하는 간단하고 효율적인 방법이며, DAG(Directed Acyclic Graphs)를 대규모로 쉽게 실행할 수 있습니다. 데이터베이스, 데이터 웨어하우스, Lakehouse, 실시간 데이터 등 다양한 데이터 원본 집합에서 데이터를 수집, 준비 및 변환할 수 있는 최신 데이터 통합 환경을 제공하는 Fabric Data Factory의 일부입니다.

Apache Airflow 작업을 사용해야 하는 경우는 언제인가요?

Apache Airflow 작업은 사용자가 기본 인프라에 대한 걱정 없이 워크플로 오케스트레이션을 위해 Python 기반 DAG(Directed Acyclic Graphs)를 만들고 관리할 수 있는 관리형 서비스를 제공합니다. Apache Airflow에 대한 경험이 있거나 코드 중심 접근 방식을 선호하는 경우 이 옵션이 이상적입니다. 반면 데이터 오케스트레이션에 코드 없는 솔루션을 선호하는 경우 데이터 파이프라인은 Python 기반 워크플로를 관리하거나 작성할 필요가 없는 사용자 친화적인 대안을 제공합니다.

주요 기능

Microsoft Fabric 호스팅 Apache Airflow 작업은 다음을 비롯한 다양한 강력한 기능을 제공합니다.

주요 기능 패브릭의 Apache Airflow 작업 Azure Data Factory의 워크플로 오케스트레이션 관리자
Git 동기화 예 예
AKV(Azure Key Vault)를 백 엔드로 사용하도록 설정 예 예
프라이빗 패키지를 요구 사항으로 설치 예 예
진단 로그 및 메트릭 예 예
Blob Storage 예 예
Apache Airflow 클러스터 IP 주소 예 예
프로덕션 워크로드 실행 급증을 관리하기 위한 자동 크기 조정 예 부분
가동 중단/가동 중지 시간을 완화하기 위한 고가용성 예 예
유휴 연산자를 일시 중단하고 작업자를 확보하기 위한 지연 연산자 예 예
TTL 일시 중지 및 다시 시작(TTL 사용 시간) 예 예
SaaSified 환경 - 시작하는 데 10초 - DAG 작성 - 패브릭 무료 평가판 예 예

지역 가용성(공개 미리 보기)

  • 오스트레일리아 동부
  • 오스트레일리아 남동부
  • 브라질 남부
  • 캐나다 동부
  • 캐나다 중부
  • 동아시아
  • 미국 동부
  • 독일 중서부
  • 일본 동부
  • 일본 서부
  • 북유럽
  • 남아프리카 북부
  • 미국 중남부
  • 인도 남부
  • 동남아시아
  • 스웨덴 중부
  • 스위스 서부
  • 영국 남부
  • 영국 서부
  • 미국 중서부
  • 서유럽
  • 미국 서부

지원되는 Apache Airflow 버전

  • 2.6.3

Python 버전 지원

  • 3.8.17

참고 항목

기존 IR 내에서 Apache Airflow 버전을 변경하는 것은 지원되지 않습니다. 대신 권장되는 솔루션은 원하는 버전으로 새 Airflow IR을 만드는 것입니다.

관련 내용