Övervakning och observerbarhet för Databricks-jobb

Den här artikeln beskriver de funktioner som är tillgängliga i Azure Databricks-användargränssnittet för att visa jobb som du har åtkomst till, visa en historik över körningar för ett jobb och visa information om jobbkörningar. Information om hur du konfigurerar meddelanden för jobb finns i Lägg till meddelanden på ett jobb.

Om du vill veta mer om hur du använder Databricks CLI för att visa jobb och köra jobb kör du CLI-kommandona databricks jobs list -h, databricks jobs get -hoch databricks jobs run-now -h. Mer information om hur du använder jobb-API:et finns i Jobb-API:et.

Om du har åtkomst till system.lakeflow schemat kan du även visa och fråga efter poster för jobbkörningar och aktiviteter från hela ditt konto. Se Systemtabellreferens för jobb. Du kan också ansluta systemtabellerna för jobb till faktureringstabeller för att övervaka kostnaden för jobb i hela ditt konto. Se Övervaka prestanda för jobbkostnader & med systemtabeller.

Visa jobb

Om du vill visa listan över jobb som du har åtkomst till klickar du på Arbetsflöden i sidofältet. Fliken Jobb i arbetsflödesgränssnittet visar information om alla tillgängliga jobb, till exempel jobbskaparen, utlösaren för jobbet, om det finns några, och resultatet av de senaste fem körningarna.

Om du vill ändra kolumnerna som visas i jobblistan klickar du på och väljer eller avmarkerar kolumner.

Du kan filtrera jobb i listan Jobb enligt följande skärmbild.

1. Söker efter nyckelord. Nyckelordssökning stöds för fälten namn, jobb-ID och jobbtagg. Om du vill söka efter en tagg som skapats med en nyckel och ett värde kan du söka efter nyckeln, värdet eller både nyckeln och värdet. Om du till exempel vill ha en tagg med nyckeln department och värdet financekan du söka department efter eller finance hitta matchande jobb. Om du vill söka efter nyckeln och värdet anger du nyckeln och värdet avgränsat med ett kolon (till exempel department:finance).
2. Välj endast de jobb som du äger.
3. Välja alla jobb som du har behörighet att komma åt.
4. Välj alla jobb som du har markerat som favoriter.
5. Använda taggar. Om du vill söka efter tagg kan du använda den nedrullningsbara menyn taggar för att filtrera efter upp till fem taggar samtidigt eller använda nyckelordssökningen direkt.

Du kan också sortera listan över jobb (antingen fallande eller stigande) efter Namn, jobb-IDeller Skapad av kolumner genom att klicka på kolumnrubriken. Som standard sorteras jobb efter Namn i stigande ordning.

Starta ett jobb genom att klicka på uppspelningsknappen. Om du vill stoppa ett jobb klickar du på stoppknappen. Om du vill komma åt andra jobbåtgärder klickar du på menyn kebab (till exempel för att ta bort jobbet).

Visa körningar för ett enda jobb

Du kan visa en lista över pågående och nyligen slutförda körningar för ett jobb som du har åtkomst till, inklusive körningar som startats av externa orkestreringsverktyg som Apache Airflow eller Azure Data Factory. Så här visar du listan över de senaste jobbkörningarna:

1. Klicka på Arbetsflöden i sidofältet.
2. I kolumnen Namn klickar du på ett jobbnamn. Fliken Körningar visas med matris- och listvyer över aktiva och slutförda körningar.

Matrisvyn visar en historik över körningar för jobbet, inklusive varje jobbaktivitet.

Raden Kör total varaktighet i matrisen visar körningens totala varaktighet och körningens tillstånd. Om du vill visa information om körningen, inklusive starttid, varaktighet och status, hovra över fältet på raden Kör total varaktighet .

Varje cell på raden Aktiviteter representerar en aktivitet och motsvarande status för aktiviteten. Om du vill visa information om varje aktivitet, inklusive starttid, varaktighet, kluster och status, hovra över cellen för den uppgiften.

Jobbkörnings- och aktivitetskörningsstaplarna är färgkodade för att ange körningens status. Lyckade körningar är gröna. Misslyckade körningar är röda, överhoppade körningar är rosa och väntar på nytt försök är gult. Väntande, avbrutna eller som har gått ut är grå. Höjden på den enskilda jobbkörningen och aktivitetskörningsstaplarna visar körningens varaktighet.

Om du har konfigurerat en förväntad slutförandetid visar matrisvyn en varning när varaktigheten för en körning överskrider den konfigurerade tiden.

Som standardinställning visar listvyn körningar följande:

• Starttiden för körningen.
• Körningsidentifieraren.
• Om körningen utlöstes av ett jobbschema eller en API-begäran eller startades manuellt.
• Tiden som förflutit för ett jobb som körs eller den totala körningstiden för en slutförd körning. En varning visas om varaktigheten överskrider en konfigurerad förväntad slutförandetid.
• Körningens status, antingen i kö, Väntar, Körs, hoppad över, lyckades, Misslyckades, gick ut, Avbruteneller Avbruten.
• Felkoden som körningen avslutades med.
• Körningsparametrarna.

För närvarande aktiva körningar visar en stoppknapp. Om du vill stoppa alla aktiva och köade körningar väljer du Avbryt körningar eller Avbryt alla köade körningar från den nedrullningsbara menyn.

Använd menyn vid en körning för fler kontextspecifika åtgärder, som att ta bort poster av slutförda körningar.

Om du vill komma åt kontextspecifika åtgärder för körningen klickar du på menyn kebab (till exempel för att stoppa en aktiv körning eller ta bort en slutförd körning).

Om du vill ändra kolumnerna som visas i körningslistvyn klickar du på och väljer eller avmarkerar kolumner.

Om du vill visa information om en jobbkörning klickar du på länken för körningen i kolumnen Starttid i listvyn körningar. Om du vill visa information om det här jobbets senaste lyckade körning klickar du på Gå till den senaste lyckade körningen.

Azure Databricks har en historik över dina jobbkörningar i upp till 60 dagar. Om du behöver bevara jobbkörningar rekommenderar Databricks att du exporterar resultat innan de upphör att gälla. Mer information finns i Exportera jobbkörningsresultat.

Visa information om jobbkörning

Informationssidan för jobbkörningen innehåller jobbutdata och länkar till loggar, inklusive information om lyckade eller misslyckade aktiviteter i jobbkörningen. Du kan komma åt jobbkörningsinformation från fliken Körningar för jobbet.

Om du vill visa jobbkörningsinformation från fliken Körningar klickar du på länken för körningen i kolumnen Starttid i listvyn körningar. Om du vill gå tillbaka till fliken Körningar för jobbet klickar du på jobbets ID-värde .

Jobb med flera uppgifter har dessutom en diagram-, tidslinje- och listvy.

Diagramvy

Klicka på en aktivitetsnod i diagrammet för att visa körningsinformation för aktiviteten, inklusive:

• Uppgiftsinformation inklusive kör som, hur jobbet startades, starttid, sluttid, varaktighet och status.
• Källkoden.
• Klustret som körde uppgiften och länkar till dess frågehistorik och loggar.
• Mått för uppgiften.

Tidslinjevy

Jobb som innehåller flera aktiviteter har en tidslinjevy för att identifiera uppgifter som tar lång tid att slutföra, förstå beroenden och överlappning för att felsöka och optimera dessa jobb.

Tidslinjevy för

Listvy

Som standard visar listvyn status, namn, typ, resurs, varaktighet och beroenden. Du kan lägga till och ta bort kolumner i den här vyn.

Du kan söka efter en aktivitet efter namn, filtrera efter aktivitetsstatus eller aktivitetstyp och sortera aktiviteter efter status, namn eller varaktighet.

Klicka på jobb-ID-värdet för att återgå till fliken Körningar för jobbet.

Hur avgör Azure Databricks status för jobbkörning?

Azure Databricks avgör om en jobbkörning lyckades baserat på resultatet av jobbets lövaktiviteter. En lövaktivitet är en aktivitet som inte har några underordnade beroenden. En jobbkörning kan ha ett av tre resultat:

• Lyckades: Alla aktiviteter lyckades.
• Lyckades med fel: Vissa aktiviteter misslyckades, men alla lövaktiviteter lyckades.
• Misslyckades: En eller flera lövaktiviteter misslyckades.
• Hoppades över: Jobbkörningen hoppades över (till exempel kan en uppgift hoppas över eftersom du överskred det maximala antalet samtidiga körningar för jobbet eller arbetsytan).
• Tidsgräns: Jobbkörningen tog för lång tid att slutföra och tidsgränsen tog slut.
• Avbröts: Jobbkörningen avbröts (till exempel avbröt en användare den pågående körningen manuellt).

Visa mått för strömningsuppgifter

Viktig

Övervakning av strömmande data för Databricks-jobb är tillgänglig i offentlig förhandsversion.

När du visar information om jobbkörning kan du hämta data om strömmande arbetsbelastningar med mått för strömningsobservabilitet i användargränssnittet för jobb. Dessa mått omfattar kvarvarande sekunder, kvarvarande byte, kvarvarande poster och kvarvarande filer för källor som stöds av Spark Structured Streaming, inklusive Apache Kafka, Amazon Kinesis, Auto Loader, Google Pub/Sub och Delta-tabeller. Mått visas som diagram i högerpanelen när du visar detaljerna för en uppgift. Måtten som visas i varje diagram är maximala värden aggregerade per minut och kan innehålla upp till de föregående 48 timmarna.

Varje strömmande källa stöder endast specifika mått. Mått som inte stöds av en strömmande källa är inte tillgängliga för visning i användargränssnittet. I följande tabell visas de mått som är tillgängliga för strömmande källor som stöds:

källa	kvarvarande byte	posterna i kvarvarande uppgifter	kösekunder	kvarvarande filer
Kafka	✓	✓
Kinesis	✓		✓
Delta	✓			✓
Automatisk inläsning	✓			✓
Google Pub/Sub	✓	✓

Du kan också ange tröskelvärden för varje strömningsmått och konfigurera meddelanden om en ström överskrider ett tröskelvärde under en aktivitetskörning. Se Konfigurera meddelanden för långsamma jobb.

Så här visar du strömmande mätvärden för en aktivitetskörning som strömmar data från en av de stödda källorna för strukturerad strömning:

1. På sidan Jobbkörningsinformation klickar du på den uppgift som du vill visa mått för.
2. Klicka på fliken Mått i fönstret Aktivitetskörning.
3. Om du vill öppna diagrammet för ett mått klickar du på bredvid måttnamnet.
4. Om du vill visa måtten för en specifik ström anger du ström-ID:t i textrutan Filtrera efter stream_id. Du hittar ström-ID i utdata för jobbet.
5. Om du vill ändra tidsperioden för måttdiagram använder du den nedrullningsbara menyn tid.
6. Om du vill bläddra igenom strömmarna om körningen innehåller fler än tio strömmar klickar du på Nästa eller Föregående.

Begränsningar för strömningsobservabilitet

• Metriker uppdateras varje minut om inte en körning har mer än fyra flöden. Om en körning har fler än fyra strömmar uppdateras måtten var femte minut.
• Mätvärden samlas bara in för de första femtio strömmarna i varje körning.

Visa aktivitetskörningshistorik

Så här visar du körningshistoriken för en aktivitet, inklusive lyckade och misslyckade körningar:

1. Klicka på en aktivitet på sidan Jobbkörningsinformation . Sidan Aktivitetskörningsinformation visas.
2. Välj aktivitetskörningen i listrutan körningshistorik.

Visa aktivitetskörningshistorik för en For each aktivitet

Åtkomsten till körningshistoriken för en For each aktivitet är samma som en azure Databricks-standardjobbaktivitet. Du kan klicka på aktivitetsnoden For eachpå sidan Jobbkörningsinformation eller motsvarande cell i matrisvyn. Men till skillnad från en standardaktivitet visas körningsinformationen för en For each aktivitet som en tabell över iterationerna för den kapslade aktiviteten.

Om du bara vill visa misslyckade iterationer klickar du på Endast misslyckade iterationer.

Om du vill visa utdata från en iteration klickar du på värdena Starttid eller Sluttid för iterationen.

Visa de senaste jobbutföranden av alla jobb

Du kan visa en lista över pågående och nyligen slutförda körningar för alla jobb på en arbetsyta som du har åtkomst till, inklusive körningar som startats av externa orkestreringsverktyg som Apache Airflow eller Azure Data Factory. Så här visar du listan över de senaste jobbkörningarna:

1. Klicka på Arbetsflöden i sidofältet.
2. Klicka på fliken Jobbkörningar för att visa diagrammet Antal slutförda körningar och listan över jobbkörningar.

Diagram över antal slutförda körningar

Diagrammet Antal slutförda körningar visar antalet jobbkörningar som har slutförts under de senaste 48 timmarna. Som standard visar diagrammet misslyckade, överhoppade och lyckade jobbkörningar. Du kan också filtrera diagrammet för att visa specifika körningsstatusar eller begränsa grafen till ett visst tidsintervall. Fliken Jobbkörningar innehåller också en tabell med jobbkörningar från de senaste 67 dagarna. Tabellen innehåller som standard information om misslyckade, överhoppade och lyckade jobbkörningar.

Kommentar

Diagrammet Antal slutförda körningar visas bara när du klickar på Ägs av mig.

Du kan filtrera antalet slutförda körningar efter körningsstatus:

• Om du vill uppdatera diagrammet för att visa jobb som körs eller väntar på att köras klickar du på Aktiva körningar.
• Om du vill uppdatera diagrammet så att endast slutförda körningar visas, inklusive misslyckade, lyckade och överhoppade körningar, klickar du på Slutförda körningar.
• Om du vill uppdatera diagrammet så att endast körningar som har slutförts under de senaste 48 timmarna visas klickar du på Lyckade körningar.
• Om du vill uppdatera grafen så att den endast visar överhoppade körningar klickar du på Överhoppade körningar. Körningar hoppas över eftersom du överskred det maximala antalet samtidiga körningar på arbetsytan eller jobbet överskred det maximala antalet samtidiga körningar som angetts av jobbkonfigurationen.
• Om du vill uppdatera diagrammet så att endast körningar som har slutförts i ett feltillstånd visas klickar du på Misslyckade körningar.

När du klickar på någon av filterknapparna uppdateras även listan över körningar i tabellen körningar för att endast visa jobbkörningar som matchar den valda statusen.

Om du vill begränsa det tidsintervall som visas i diagrammet Antal slutförda körningar klickar du på och drar markören i diagrammet för att välja tidsintervallet. Diagrammet och körningstabelluppdateringen för att visa körningar från endast det valda tidsintervallet.

Tabellen De 5 vanligaste feltyperna visar en lista över de vanligaste feltyperna från det valda tidsintervallet, så att du snabbt kan se de vanligaste orsakerna till jobbproblem på din arbetsyta.

Lista över jobbkörningar

Fliken Jobbkörningar innehåller också en tabell med jobbkörningar från de senaste 60 dagarna. Tabellen innehåller som standard information om misslyckade, överhoppade och lyckade jobbkörningar.

Du kan filtrera listan över körningar som visas i listan baserat på följande:

• Jobb: Välj upp till 3 jobb och visa endast körningar för dessa jobb.
• Kör som: Välj upp till tre identiteter för att köra som, och se endast de körningar som genomfördes som dessa användare.
• Tidsfönster: Välj ett start- och slutdatum samt tid för att avgränsa jobbkörningar som inträffade inom detta intervall.
• Körningsstatus: Filtrera för att endast se aktiva (körs för närvarande), slutförda (slutförda, inklusive lyckade och misslyckade körningar), lyckade, misslyckade och överhoppade körningar.
• Felkod: Filtrera listan baserat på felkod för att se alla jobb som har misslyckats med samma felkod.

Som standard visar listan över körningar i tabellen körningar följande:

• Starttiden för körningen.
• Namnet på jobbet som är associerat med körningen.
• Användarnamnet som jobbet körs som.
• Om körningen utlöstes av ett jobbschema eller en API-begäran eller startades manuellt.
• Tiden som förflutit för ett jobb som körs eller den totala körningstiden för en slutförd körning. En varning visas om varaktigheten överskrider en konfigurerad förväntad slutförandetid.
• Körningens status: i kö, Väntande, Körs, Hoppad över, Lyckad, Misslyckades, Gick ut på tid, Avbrytseller Avbruten.
• Eventuell felkod som körningen avslutades med.
• Alla parametrar för körningen.
• Om du vill stoppa ett jobb som körs klickar du på stoppknappen. Om du vill komma åt åtgärder för jobbet klickar du på menyn (till exempel för att stoppa en aktiv körning eller ta bort en slutförd körning).

Om du vill ändra kolumnerna som visas i körningslistan klickar du på och väljer eller avmarkerar kolumner.

Om du vill visa information om jobbkörning klickar du på länken i kolumnen Starttid för körningen. Om du vill visa jobbinformation klickar du på jobbnamnet i kolumnen Jobb .

Visa ursprungsinformation för ett jobb

Om Unity Catalog är aktiverat på din arbetsyta kan du visa ursprungsinformation för alla Unity Catalog-tabeller i arbetsflödet. Om ursprungsinformation är tillgänglig för arbetsflödet visas en länk med antalet uppströms- och nedströmstabeller i panelen Jobbinformation för jobbet, panelen Jobbkörningsinformation för en jobbkörning eller panelen Aktivitetskörningsinformation för en aktivitetskörning. Klicka på länken för att visa listan över tabeller. Klicka på en tabell om du vill se detaljerad information i Katalogutforskaren.

Visa och köra ett jobb som skapats med ett Databricks-tillgångspaket

Du kan använda användargränssnittet för Azure Databricks-jobb för att visa och köra jobb som distribuerats av ett Databricks-tillgångspaket. Som standard är de här jobben skrivskyddade i användargränssnittet för jobb. Om du vill redigera ett jobb som distribueras av ett paket ändrar du paketkonfigurationsfilen och distribuerar om jobbet. Genom att endast tillämpa ändringar på paketkonfigurationen ser du till att paketkällfilerna alltid avbildar den aktuella jobbkonfigurationen.

Men om du måste göra omedelbara ändringar i ett jobb kan du koppla från jobbet från paketkonfigurationen för att aktivera redigering av jobbinställningarna i användargränssnittet. Om du vill koppla från jobbet klickar du på Koppla från källan. I dialogrutan Koppla från källa klickar du på Koppla från för att bekräfta.

Ändringar som du gör i jobbet i användargränssnittet tillämpas inte på paketkonfigurationen. Om du vill tillämpa ändringar som du gör i användargränssnittet på paketet måste du uppdatera paketkonfigurationen manuellt. Om du vill återansluta jobbet till paketkonfigurationen distribuerar du jobbet igen med hjälp av paketet.

Exportera resultat för jobbkörning

Du kan exportera resultat för notebook-körning och jobbkörningsloggar för alla jobbtyper.

Exportera resultat från notebook-körning

Du kan spara jobbkörningar genom att exportera deras resultat. För notebook-jobbkörningar kan du exportera en renderad notebook-fil som senare kan importeras till din Azure Databricks-arbetsyta.

Så här exporterar du resultat från notebook-körning för ett jobb med en enda uppgift:

1. På sidan jobbinformation klickar du på länken Visa information för körningen i kolumnen Kör i tabellen Slutförda körningar (senaste 60 dagarna).
2. Klicka på Exportera till HTML.

Så här exporterar du resultat från notebook-körning för ett jobb med flera uppgifter:

1. På sidan jobbinformation klickar du på länken Visa information för körningen i kolumnen Kör i tabellen Slutförda körningar (senaste 60 dagarna).
2. Klicka på den notebook-uppgift som ska exporteras.
3. Klicka på Exportera till HTML.

Exportera jobbkörningsloggar

Du kan också exportera loggarna för jobbkörningen. Du kan konfigurera jobbet för att automatiskt leverera loggar till DBFS när du konfigurerar jobbberäkning (se referens för beräkningskonfiguration) eller via jobb-API:et. Se objektet new_cluster.cluster_log_conf i begärandetexten som skickades till åtgärden Skapa ett nytt jobb (POST /jobs/create) i JOBB-API:et.