Kjent problem – Overvåkingshub viser feil varighet i kø
Spark Jobs settes i kø når kapasitetsbruken når maksimale databehandlingsgrensen på Spark. Når grensen er nådd, legges jobber til i køen. Jobbene behandles deretter når kjernene blir tilgjengelige i kapasiteten. Denne køfunksjonen er aktivert for alle bakgrunnsjobber på Spark, inkludert Spark-notatblokker som utløses fra jobbplanleggeren, datasamlebånd og spark-jobbdefinisjoner. Tidsvarigheten som jobben venter i køen, er ikke riktig representert i overvåkingshuben som varighet i kø.
status: åpne
produktopplevelse: datateknikk
Symptomer
Den totale varigheten for jobben som vises i overvåkingshuben, omfatter for øyeblikket bare utførelsestiden for jobben. Den totale varigheten gjenspeiler ikke varigheten jobben ventet i i køen på riktig måte.
Løsninger og midlertidige løsninger
Når jobben står i kø, vises statusen som Ikke startet i overvåkingsvisningen. Når jobben starter kjøringen, oppdateres statusen til Pågår i overvåkingsvisningen. Bruk statusindikatoren for jobben til å vite når jobben står i kø og når kjøringen pågår.