Känt problem – Övervakningshubben visar felaktig kövaraktighet
Spark-jobb placeras i kö när kapacitetsanvändningen når sin högsta beräkningsgräns för Spark. När gränsen har nåtts läggs jobb till i kön. Jobben bearbetas sedan när kärnorna blir tillgängliga och det finns kapacitet. Den här köfunktionen är aktiverad för alla bakgrundsjobb i Spark, inklusive Spark-notebookar som utlöses från jobbschemaläggaren, pipelines och Spark-jobbdefinitioner. Den tid som jobbet väntar i kön representeras inte korrekt som kötid i övervakningshubben.
status: Öppen
produktupplevelse: datateknik
Symtom
Den totala varaktigheten för jobbet som visas i övervakningscentralen omfattar för närvarande endast utförandetiden för jobbet. Den totala varaktigheten återspeglar inte korrekt hur länge jobbet väntade i kön.
Lösningar och lösningar
När jobbet står i kö visas statusen som Inte startad i övervakningsvyn. När jobbet börjar köra uppdateras statusen till Pågår i övervakningsvyn. Använd statusindikatorn för jobb för att veta när jobbet är i kö och när det körs.