Problema noto- L'hub di monitoraggio visualizza una durata in coda non corretta
I processi Spark vengono accodati quando l'utilizzo della capacità raggiunge il limite di calcolo massimo in Spark. Una volta raggiunto il limite, i processi vengono aggiunti alla coda. I lavori vengono quindi elaborati quando i core diventano disponibili in capacità di calcolo. Questa funzionalità di accodamento è abilitata per tutti i processi in background in Spark, inclusi i notebook Spark attivati dall'utilità di pianificazione dei processi, dalle pipeline e dalle definizioni dei processi Spark. La durata di attesa del processo in coda non è rappresentata correttamente come durata effettiva di coda nell'hub di monitoraggio.
Stato: Aperto
Esperienza di Prodotto : Ingegneria dei Dati
Sintomi
La durata totale del processo visualizzato nell'hub di monitoraggio include attualmente solo il tempo di esecuzione del processo. La durata totale non riflette correttamente il tempo in cui il lavoro è rimasto in attesa nella coda.
Soluzioni e soluzioni alternative
Quando il processo è in coda, lo stato viene visualizzato come Non Avviato nella visualizzazione di monitoraggio. Dopo l'avvio dell'esecuzione del processo, lo stato viene aggiornato a In corso nella visualizzazione di monitoraggio. Usa l'indicatore di stato del lavoro per sapere quando il lavoro è in coda e quando è in corso l'esecuzione.