Dela via

Kontrollera flödet av uppgifter i ett Databricks-jobb

  • Artikel

Vissa jobb är helt enkelt en lista över uppgifter som måste slutföras. Du kan styra utförandeordningen för uppgifter genom att ange beroenden mellan dem. Du kan konfigurera aktiviteter så att de körs i följd eller parallellt.

Du kan dock också skapa förgreningsflöden som innehåller villkorsstyrda uppgifter, felkorrigering eller rensning. Azure Databricks tillhandahåller funktioner för att styra flödet av uppgifter i ett jobb. I följande avsnitt beskrivs hur du kan styra flödet för dina uppgifter.

Nya försök

Omförsök anger hur många gånger en viss aktivitet ska köras igen om aktiviteten misslyckas med ett felmeddelande. Fel är ofta tillfälliga och löses genom omstart. Vissa funktioner i Azure Databricks, till exempel schemautveckling med strukturerad direktuppspelning, förutsätter att du kör jobb med återförsök för att återställa miljön och låta ett arbetsflöde fortsätta.

Om du anger återförsök för en aktivitet startas aktiviteten om upp till det angivna antalet gånger om det uppstår ett fel. Alla jobbkonfigurationer stöder inte återförsök av aktiviteter. Se Ange en återförsöksprincip.

När databricks körs i kontinuerligt utlösarläge försöker de automatiskt igen med exponentiell backoff. Se Hur hanteras fel för kontinuerliga jobb?.

Kör uppgifter om villkor är uppfyllda

Du kan använda aktivitetstypen Kör om för att ange villkor för senare aktiviteter baserat på utfallet av andra aktiviteter. Du lägger till aktiviteter i jobbet och anger överordnade uppgifter. Baserat på statusen för dessa uppgifter kan du konfigurera en eller flera underordnade aktiviteter som ska köras. Jobb stöder följande beroenden:

  • Alla lyckades
  • Minst en lyckades
  • Ingen misslyckades
  • Allt klart
  • Minst en misslyckades
  • Allt misslyckades

Se Konfigurera aktivitetsberoenden

Villkorsstyrda om/annars-uppgifter

Du kan använda Om/annars aktivitetstyp för att ange villkor baserat på ett visst värde. Se Lägg till förgreningslogik i ett jobb med uppgiften If/else.

Jobb stöder taskValues som du definierar i din logik och gör att du kan returnera resultatet av viss beräkning eller status från en uppgift till jobbmiljön. Du kan definiera Om/annars villkor mot taskValues, jobbparametrar eller dynamiska värden.

Azure Databricks stöder följande operander för villkorsstyrda:

  • ==
  • !=
  • >
  • >=
  • <
  • <=

Se även:

För varje uppgift

Använd den For each aktiviteten för att köra en annan aktivitet i en loop och skicka en annan uppsättning parametrar till varje iteration av aktiviteten.

För att lägga till en For each uppgift i ett jobb måste du definiera en For each uppgift och en inbäddad uppgift. Den kapslade uppgiften är den uppgift som ska köras för varje iteration av For each uppgift och är en av standardtyperna för Databricks-aktiviteter. Flera metoder stöds för att skicka parametrar till den kapslade aktiviteten.

Se Kör en parameteriserad Azure Databricks-jobbaktivitet i en loop.