Udostępnij za pośrednictwem

Co to jest zadanie platformy Apache Airflow?

  • Artykuł

Uwaga

Zadanie apache Airflow jest obsługiwane przez platformę Apache Airflow.

Zadanie apache Airflow to następna generacja menedżera orkiestracji przepływu pracy usługi Azure Data Factory. Jest to prosty i wydajny sposób tworzenia zadań orkiestracji platformy Apache Airflow i zarządzania nimi, co umożliwia łatwe uruchamianie grafów Acyklicznych (DAG, Directed Acyclic Graphs) na dużą skalę. Jest to część usługi Data Factory sieci Szkieletowej, która umożliwia nowoczesne środowisko integracji danych w celu pozyskiwania, przygotowywania i przekształcania danych z bogatego zestawu źródeł danych, na przykład baz danych, magazynu danych, usługi Lakehouse, danych w czasie rzeczywistym i nie tylko.

Kiedy używać zadania apache Airflow?

Zadania platformy Apache Airflow oferują zarządzaną usługę, która umożliwia użytkownikom tworzenie grup DAG opartych na języku Python (skierowanych grafów Acyklicznych) na potrzeby orkiestracji przepływu pracy bez obaw o podstawową infrastrukturę. Jeśli masz doświadczenie z platformą Apache Airflow lub preferujesz podejście skoncentrowane na kodzie, ta opcja jest idealna. Natomiast jeśli wolisz rozwiązanie bez kodu do orkiestracji danych, potoki danych oferują przyjazną dla użytkownika alternatywę, która nie wymaga zarządzania ani pisania przepływów pracy opartych na języku Python.

Najważniejsze funkcje    

Zadanie platformy Apache Airflow hostowane w usłudze Microsoft Fabric oferuje szereg zaawansowanych funkcji, w tym:

Najważniejsze funkcje     Zadanie apache Airflow w sieci szkieletowej Menedżer orkiestracji przepływu pracy w usłudze Azure Data Factory
Synchronizacja usługi Git Tak Tak
Włączanie usługi AKV (Azure Key Vault) jako zaplecza Tak Tak
Zainstaluj pakiet prywatny zgodnie z wymaganiami Tak Tak
Dzienniki diagnostyczne i metryki Nie. Tak
Blob Storage Nie. Tak
Adres IP klastra Apache Airflow Tak Tak
Automatyczne skalowanie na potrzeby zarządzania skokami wykonywania obciążeń produkcyjnych Tak Częściowe
Wysoka dostępność w celu ograniczenia awarii/przestoju Tak Nie.
Operatory z możliwością odroczenia w przypadku wstrzymania bezczynnych operatorów i zwalniania pracowników Tak Nie.
Wstrzymywanie i wznawianie czasu wygaśnięcia (czas wygaśnięcia) Tak Nie.
Środowisko SaaSified — 10 sekund, aby rozpocząć pracę — Tworzenie grup DAG — bezpłatna wersja próbna sieci szkieletowej Tak Nie.

Dostępność regionów (publiczna wersja zapoznawcza)

  • Australia Wschodnia
  • Australia Południowo-Wschodnia
  • Brazylia Południowa
  • Kanada Wschodnia
  • Kanada Środkowa
  • Azja Wschodnia
  • East US
  • Niemcy Środkowo-Zachodnie
  • Japonia Wschodnia
  • Japonia Zachodnia
  • Europa Północna
  • Północna Republika Południowej Afryki
  • South Central US
  • Indie Południowe
  • Southeast Asia
  • Szwecja Środkowa
  • Szwajcaria Zachodnia
  • Południowe Zjednoczone Królestwo
  • Zachodnie Zjednoczone Królestwo
  • Zachodnio-środkowe stany USA
  • West Europe
  • Zachodnie stany USA

Obsługiwane wersje platformy Apache Airflow

  • 2.6.3

Obsługa wersji języka Python

  • 3.8.17

Uwaga

Zmiana wersji platformy Apache Airflow w istniejącym środowisku IR nie jest obsługiwana. Zamiast tego zalecanym rozwiązaniem jest utworzenie nowego środowiska Ir Airflow z żądaną wersją

Powiązana zawartość