Problema noto- L'hub di monitoraggio visualizza una durata in coda non corretta
I processi Spark vengono accodati quando l'utilizzo della capacità raggiunge il limite di calcolo massimo in Spark. Una volta raggiunto il limite, i processi vengono aggiunti alla coda. I processi vengono quindi elaborati quando i core diventano disponibili nella capacità. Questa funzionalità di accodamento è abilitata per tutti i processi in background in Spark, inclusi i notebook Spark attivati dall'utilità di pianificazione dei processi, dalle pipeline e dalle definizioni dei processi Spark. La durata dell'attesa del processo nella coda non è rappresentata correttamente nell'hub di monitoraggio come durata in coda.
Stato: aperto
Esperienza prodotto: Ingegnere dei dati
Sintomi
La durata totale del processo visualizzato nell'hub di monitoraggio include attualmente solo il tempo di esecuzione del processo. La durata totale non riflette correttamente la durata di attesa del processo nella coda.
Strategie e soluzioni alternative
Quando il processo è in coda, lo stato viene visualizzato come Non avviato nella visualizzazione di monitoraggio. Dopo l'avvio dell'esecuzione del processo, lo stato viene aggiornato a In corso nella visualizzazione di monitoraggio. Usare l'indicatore di stato del processo per sapere quando il processo è in coda e quando è in corso l'esecuzione.