Udostępnij za pośrednictwem

Importowanie grup DAG przy użyciu usługi Azure Blob Storage

  • Artykuł

Uwaga

Ta funkcja jest dostępna w publicznej wersji zapoznawczej. Menedżer orkiestracji przepływu pracy jest obsługiwany przez platformę Apache Airflow.

W tym artykule przedstawiono instrukcje krok po kroku dotyczące importowania cyklicznych grafów (DAG) do programu Workflow Orchestration Manager przy użyciu usługi Azure Blob Storage.

Wymagania wstępne

  • Subskrypcja platformy Azure: jeśli nie masz subskrypcji platformy Azure, przed rozpoczęciem utwórz bezpłatne konto platformy Azure.
  • Azure Data Factory: utwórz lub wybierz istniejące wystąpienie usługi Data Factory w regionie, w którym jest obsługiwana wersja zapoznawcza programu Workflow Orchestration Manager.
  • Konto usługi Azure Storage: jeśli nie masz konta magazynu, zobacz Tworzenie konta usługi Azure Storage, aby uzyskać instrukcje tworzenia konta. Upewnij się, że konto magazynu zezwala na dostęp tylko z wybranych sieci.

Usługa Blob Storage za sieciami wirtualnymi nie jest obsługiwana w wersji zapoznawczej. Konfiguracja usługi Azure Key Vault w programie storageLinkedServices nie jest obsługiwana do importowania grup DAG.

Importowanie grup DAG

  1. Skopiuj przykładową grupę DAG platformy Apache Airflow w wersji 2.x lub przykładową grupę DAG apache Airflow w wersji 1.10 na podstawie skonfigurowanego środowiska Airflow. Wklej zawartość do nowego pliku o nazwie tutorial.py.

    Przekaż plik tutorial.py do usługi Blob Storage. Aby uzyskać więcej informacji, zobacz Przekazywanie pliku do obiektu blob.

    Uwaga

    Musisz wybrać ścieżkę katalogu z konta usługi Blob Storage zawierającego foldery o nazwie dags i wtyczki, aby zaimportować je do środowiska Airflow. Wtyczki nie są obowiązkowe. Możesz również mieć kontener o nazwie dags i przekazać wszystkie pliki Airflow w nim.

  2. W obszarze Zarządzanie centrum wybierz pozycję Apache Airflow. Następnie umieść kursor na wcześniej utworzonym środowisku Airflow i wybierz pozycję Importuj pliki, aby zaimportować wszystkie grupy DAG i zależności do środowiska Airflow.

    Zrzut ekranu przedstawiający importowanie plików w centrum Zarządzanie.

  3. Utwórz nową połączoną usługę z dostępnym kontem magazynu wymienionym w sekcji "Wymagania wstępne". Możesz również użyć istniejącego, jeśli masz już własne grupy DAG.

    Zrzut ekranu przedstawiający sposób tworzenia nowej połączonej usługi.

  4. Użyj konta magazynu, na którym przekazano grupę DAG. (Sprawdź sekcję "Wymagania wstępne". Przetestuj połączenie, a następnie wybierz pozycję Utwórz.

    Zrzut ekranu przedstawiający szczegóły połączonej usługi.

  5. Przeglądaj i wybierz przepływ powietrza, jeśli używasz przykładowego adresu URL sygnatury dostępu współdzielonego . Możesz również wybrać folder zawierający folder dags z plikami DAG.

    Uwaga

    Możesz zaimportować grupy DAG i ich zależności za pomocą tego interfejsu. Musisz wybrać ścieżkę katalogu z konta usługi Blob Storage zawierającego foldery o nazwie dags i wtyczki, aby zaimportować je do środowiska Airflow. Wtyczki nie są obowiązkowe.

    Zrzut ekranu przedstawiający przycisk Przeglądaj magazyn na ekranie Importowanie plików.

    Zrzut ekranu przedstawiający folder główny przepływu powietrza w obszarze Przeglądaj.

  6. Wybierz pozycję Importuj , aby zaimportować pliki.

    Zrzut ekranu przedstawiający przycisk Importuj na ekranie Importowanie plików.

    Zrzut ekranu przedstawiający importowanie grup DAG.

Importowanie grup DAG może potrwać kilka minut w trakcie korzystania z wersji zapoznawczej. Możesz użyć centrum powiadomień (ikona dzwonka w interfejsie użytkownika usługi Data Factory), aby śledzić aktualizacje stanu importu.