Kjent problem – Overvåkingshub viser feil varighet i kø
Spark Jobs settes i kø når kapasitetsbruken når maksimal databehandlingsgrense på Spark. Når grensen er nådd, legges jobber til i køen. Jobbene behandles deretter når kjernene blir tilgjengelige i kapasiteten. Denne køfunksjonen er aktivert for alle bakgrunnsjobber på Spark, inkludert Spark-notatblokker som utløses fra jobbplanleggeren, datasamlebånd og spark-jobbdefinisjoner. Tidsvarigheten som jobben venter i køen, er ikke riktig representert i overvåkingshuben som varighet i kø.
Status: Åpne
Produktopplevelse: Dataingeniør ing
Symptomer
Den totale varigheten for jobben som vises i overvåkingshuben, omfatter for øyeblikket bare utførelsestiden for jobben. Den totale varigheten gjenspeiler ikke varigheten jobben ventet i i køen på riktig måte.
Løsninger og midlertidige løsninger
Når jobben er i kø, vises statusen som Ikke startet i overvåkingsvisningen. Når jobben starter kjøringen, oppdateres statusen til Pågår i overvåkingsvisningen. Bruk statusindikatoren for jobben til å vite når jobben står i kø og når kjøringen pågår.