Bekend probleem- Bewakingshub geeft onjuiste duur in de wachtrij weer
Spark-taken worden in de wachtrij geplaatst wanneer het capaciteitsgebruik de maximale rekenlimiet voor Sparkbereikt. Zodra de limiet is bereikt, worden taken toegevoegd aan de wachtrij. De taken worden vervolgens verwerkt wanneer de kernen beschikbaar komen in de capaciteit. Deze wachtrijmogelijkheid is ingeschakeld voor alle achtergrondtaken in Spark, inclusief Spark-notebooks die zijn geactiveerd vanuit de taakplanner, pijplijnen en Spark-taakdefinities. De tijdsduur dat de taak in de wachtrij staat te wachten, wordt niet correct weergegeven in de Monitoringshub als wachtrijduur.
status: Open
Productervaring: Data Engineering
Symptomen
De totale duur van de taak die wordt weergegeven in de Bewakingshub bevat momenteel alleen de uitvoeringstijd van de taak. De totale duur weerspiegelt niet correct hoe lang de taak in de wachtrij heeft gestaan.
Oplossingen en tijdelijke oplossingen
Wanneer de taak in de wachtrij staat, wordt de status weergegeven als Niet gestart in de bewakingsweergave. Zodra de taak is uitgevoerd, wordt de status bijgewerkt naar Wordt uitgevoerd in de bewakingsweergave. Gebruik de taakstatusindicator om te weten wanneer de taak in de wachtrij staat en wanneer de uitvoering wordt uitgevoerd.