Bekend probleem- Bewakingshub geeft onjuiste duur in de wachtrij weer
Spark-taken worden in de wachtrij geplaatst wanneer het capaciteitsgebruik de maximale rekenlimiet voor Spark bereikt. Zodra de limiet is bereikt, worden taken toegevoegd aan de wachtrij. De taken worden vervolgens verwerkt wanneer de kernen beschikbaar komen in de capaciteit. Deze wachtrijmogelijkheid is ingeschakeld voor alle achtergrondtaken in Spark, inclusief Spark-notebooks die zijn geactiveerd vanuit de taakplanner, pijplijnen en Spark-taakdefinities. De tijdsduur die de taak in de wachtrij wacht, wordt niet correct weergegeven in de Bewakingshub als duur in de wachtrij.
Status: Openen
Productervaring: Data-engineer ing
Symptomen
De totale duur van de taak die wordt weergegeven in de Bewakingshub bevat momenteel alleen de uitvoeringstijd van de taak. De totale duur geeft niet juist de duur weer waarin de taak in de wachtrij heeft gewacht.
Oplossingen en tijdelijke oplossingen
Wanneer de taak in de wachtrij staat, wordt de status weergegeven als Niet gestart in de bewakingsweergave. Zodra de taak wordt uitgevoerd, wordt de status bijgewerkt naar Wordt uitgevoerd in de bewakingsweergave. Gebruik de taakstatusindicator om te weten wanneer de taak in de wachtrij staat en wanneer de uitvoering wordt uitgevoerd.