Udostępnij za pośrednictwem

Kontrolowanie przepływu zadań w zadaniu usługi Databricks

  • Artykuł

Niektóre zadania to po prostu lista zadań, które należy wykonać. Kolejność wykonywania zadań można kontrolować, określając zależności między nimi. Zadania można skonfigurować do uruchamiania w sekwencji lub równolegle.

Można jednak również tworzyć przepływy rozgałęziania, które obejmują zadania warunkowe, korektę błędów lub oczyszczanie. Usługa Azure Databricks udostępnia funkcje umożliwiające sterowanie przepływem zadań w zadaniu. W poniższych tematach opisano sposoby kontrolowania przepływu zadań.

Ponowienia

Ponowne próby określają liczbę ponownych uruchomień określonego zadania, jeśli zadanie zakończy się niepowodzeniem z komunikatem o błędzie. Błędy są często przejściowe i rozwiązywane przez ponowne uruchomienie. Niektóre funkcje usługi Azure Databricks, takie jak ewolucja schematu ze Strukturalnym Strumieniowaniem, zakładają, że uruchamiasz zadania z ponownymi próbami, aby zresetować środowisko i umożliwić kontynuowanie przepływu pracy.

Jeśli określisz ponawianie próby dla zadania, zadanie zostanie uruchomione ponownie do określonej liczby razy, jeśli wystąpi błąd. Nie wszystkie konfiguracje zadań obsługują ponawianie prób zadania. Zobacz Ustaw zasady ponawiania.

Podczas uruchamiania w trybie wyzwalacza ciągłego usługa Databricks automatycznie ponawia próbę z wycofywaniem wykładniczym. Zobacz Jak są obsługiwane błędy dla zadań ciągłych?.

Uruchom, jeśli zadania warunkowe

Można użyć typu zadania Uruchom, jeśli, aby określić warunki dla późniejszych zadań na podstawie wyników innych zadań. Możesz dodawać zadania do swojej pracy i określać zadania zależne od zadań wykonywanych wcześniej. Na podstawie stanu tych zadań można skonfigurować co najmniej jedno podrzędne zadanie do uruchomienia. Zadania obsługują następujące zależności:

  • Wszystko powiodło się
  • Co najmniej jeden sukces
  • Żaden nie zawiódł
  • Wszystko gotowe
  • Co najmniej jedno niepowodzenie
  • Wszystkie nie powiodły się

Zobacz Konfigurowanie zależności zadań

zadania warunkowe if/else

Można użyć If/else typu zadania, aby określić warunki na podstawie określonej wartości. Zobacz Dodawanie logiki rozgałęziania do zadania za pomocą zadania If/else.

Zadania wspierają taskValues, które definiujesz w logice, i umożliwiają zwracanie wyników niektórych obliczeń lub stanu z zadania do środowiska zadań. Można zdefiniować warunki If/else względem taskValues, parametrów zadania lub wartości dynamicznych.

Usługa Azure Databricks obsługuje następujące operandy dla warunkowych:

  • ==
  • !=
  • >
  • >=
  • <
  • <=

Zobacz również:

Dla każdego zadania

Użyj zadania For each, aby uruchomić inne zadanie w pętli, przekazując inny zestaw parametrów do każdej iteracji zadania.

Aby dodać zadanie For each do projektu, należy zdefiniować zadanie For each oraz zagnieżdżone zadanie . Zagnieżdżone zadanie to zadanie do uruchomienia dla każdej iteracji zadania For each i jest jednym ze standardowych typów zadań usługi Databricks. Wiele metod jest obsługiwanych do przekazywania parametrów do zagnieżdżonego zadania.

Zobacz Uruchamianie sparametryzowanego zadania usługi Azure Databricks w pętli.