Udostępnij za pośrednictwem

Uruchamianie sparametryzowanego zadania zadania usługi Azure Databricks w pętli

  • Artykuł

W tym artykule omówiono używanie For each zadania z zadaniami usługi Azure Databricks, w tym szczegółowe informacje na temat dodawania i konfigurowania zadania w interfejsie użytkownika zadań. Użyj zadania For each, aby uruchomić zadanie w pętli, przekazując inny zestaw parametrów do każdej iteracji zadania.

For each Dodanie zadania do zadania wymaga zdefiniowania dwóch zadań: For each zadania i zagnieżdżonego zadania. Zagnieżdżone zadanie to zadanie podrzędne do uruchomienia dla każdej iteracji For each zadania i jest jednym ze standardowych typów zadań usługi Azure Databricks Jobs. Nie można dodać innego For each zadania jako zagnieżdżonego zadania.

Można na przykład użyć zadania For each do wykonania wspólnego zestawu przekształceń w wielu tabelach, przekazując nazwę tabeli z listy nazw tabel do każdej iteracji zadania.

Jakich typów parametrów można używać z For each zadaniem?

Aby przekazać parametry z zadania For each, możesz wykonać następujące czynności:

Aby dowiedzieć się, jak używać tych różnych typów parametrów podczas dodawania lub edytowania For each zadania, zobacz następną sekcję Dodaj dla każdego zadania do zadania.

For each Dodawanie zadania do zadania

Zadanie można dodać For each podczas tworzenia zadania lub edytowania zadania w istniejącym zadaniu. Aby skonfigurować For each zadanie:

  1. W menu rozwijanym Typ wybierz pozycję Dla każdego.

  2. Wprowadź nazwę zadania w polu Nazwa zadania.

  3. W polu tekstowym Dane wejściowe zdefiniuj wartości dla zadania For each, które mają być iterowane. Może to być jeden z następujących elementów:

    • tablica wartości w formacie JSON. Może to być tablica następujących typów danych:

      • pary klucz-wartość
      • Ciągi, liczby lub typy logiczne
      • Dowolne złożone obiekty JSON

    • Odwołania do wartości zadania. Aby odwołać się do wartości zadań przekazanych z poprzedniego zadania, użyj składni {{tasks.<task_name>.values.<task_value_name>}}, aby ustawić wartość w polu tekstowym Dane wejściowe. Jeśli na przykład zadanie o nazwie generate_countries_list poprzedza For each zadanie, ustawia następującą wartość zadania:

      dbutils.jobs.taskValues.set(key = "countries", value = countries_array)

      For each Następnie zadanie odwołuje się do wartości zadania w polu tekstowym Dane wejściowe przy użyciu następującej składni:

      {{tasks.generate_countries_list.values.countries}}.

    • parametry zadania. Aby odwołać się do parametru zadania, użyj następującej składni w polu tekstowym Dane wejściowe : {{job.parameters.<name>}}. Na przykład {{job.parameters.countries}}.

  4. Aby opcjonalnie ustawić liczbę iteracji, które mogą być uruchamiane równolegle, wprowadź wartość współbieżności dla zadania. Domyślna wartość wynosi 1.

  5. Aby opcjonalnie otrzymywać powiadomienia dotyczące uruchamiania, powodzenia lub niepowodzenia zadania, kliknij pozycję + Dodaj. Zobacz Dodawanie powiadomień dotyczących zadania.

  6. Aby ukończyć konfigurację For each zadania i dodać zagnieżdżone zadanie do uruchomienia dla każdej iteracji, kliknij przycisk Dodaj zadanie do pętli.

  7. Wybierz typ zadania i opcje konfiguracji dla zagnieżdżonego zadania. Zagnieżdżone zadania są standardowymi typami zadań i mają te same opcje konfiguracji. Zobacz Konfigurowanie i edytowanie zadań usługi Databricks.

  8. Aby odwołać się do parametrów przekazanych z zadania For each, kliknij pozycję Parametry. Użyj odwołania {{input}}, aby ustawić wartość na odpowiadającą wartość w tablicy każdej iteracji lub {{input.<key>}}, aby odwoływać się do poszczególnych pól obiektów podczas iteracji przez listę obiektów.

    Dodawanie zagnieżdżonego zadania do zadania Dla każdego zadania

  9. Kliknij pozycję Utwórz zadanie.

Przełączanie For each między zadaniem a zagnieżdżonym zadaniem

Zadanie For each jest wyświetlane w interfejsie użytkownika zadań jako węzeł z zagnieżdżonym węzłem zadania wewnątrz węzła For each . Aby przełączyć się między For each zadaniem a zagnieżdżonym zadaniem, kliknij odpowiednie węzły.

Widok daG interfejsu użytkownika zadań przejdź do pozycji Dla każdego zadania

Przełączenie widoku daG interfejsu użytkownika zadań do zadania zagnieżdżonego

Odwołanie do For each zadania podrzędnego

Zadanie For each jest zadaniem najwyższego poziomu, a podrzędne zadania mogą określać je jako zależność. Podrzędne zadania nie mogą zależeć od zadania zagnieżdżonego lub odwoływać się do tego zadania.

Uruchamianie i monitorowanie zadania za pomocą For each zadania

Uruchamianie zadania z zadaniem jest identyczne z uruchamianiem For each dowolnego innego zadania.

Wyświetlanie przebiegów zadań i zarządzanie nimi jest również identyczne z innymi zadaniami, z wyjątkiem historii uruchamiania zadań dla zadania For each, które jest prezentowane jako tabela iteracji zadań. Zobacz Wyświetlanie historii uruchamiania zadań dla każdego zadania.