Cronologia delle attività
La cronologia dei lavori è un ottimo punto di partenza per comprendere la tua pipeline o la tua query. Offre una panoramica di ciò che era in esecuzione, del tempo necessario per ogni passaggio e se si sono verificati errori durante il processo.
Come aprire la sequenza temporale delle attività
Nell'interfaccia utente di Spark, fai clic su Jobs e Timeline eventi come evidenziato in rosso nello screenshot seguente. Verrà visualizzata la sequenza temporale. Questo esempio mostra il driver e l'executor 0 da aggiungere:
Cosa cercare
Le sezioni seguenti illustrano come leggere la sequenza temporale degli eventi per individuare la possibile causa del problema di prestazioni o costi. Se si nota una di queste tendenze nella sequenza temporale, la fine di ogni sezione corrispondente contiene un collegamento a un articolo che fornisce indicazioni.
Attività non riuscite o executor falliti
Ecco un esempio di un'attività non riuscita e di executor rimossi, indicati da uno stato rosso, nella linea temporale degli eventi.
Se vengono visualizzati processi con errori o executor non riusciti, vedere processi o executor non riusciti rimossi.
Lacune nell'esecuzione
Cercare gli intervalli di un minuto o più, come in questo caso.
In questo esempio sono presenti diversi gap, alcuni dei quali evidenziati dalle frecce rosse. Se noti dei vuoti sulla sequenza temporale, sono di un minuto o più? Brevi intervalli sono previsti mentre il conducente coordina il lavoro. Se sono presenti gap più lunghi, sono nel mezzo di una pipeline? Oppure questo cluster è in esecuzione costantemente e quindi le lacune vengono spiegate dalle pause nell'attività? È possibile determinare questa situazione in base all'ora di avvio e alla fine del carico di lavoro.
Se riscontri lunghi vuoti inspiegabili al centro di una pipeline, vedi Gap fra processi Spark.
Lavori lunghi
La sequenza temporale è dominata da uno o pochi lavori lunghi? Questi lunghi lavori sarebbero qualcosa da analizzare. Nell'esempio seguente, il carico di lavoro ha un'attività molto più lunga delle altre. Questo è un buon obiettivo per l'indagine.
Fare clic sull'attività più lunga per approfondire. Per informazioni sull'analisi di questa fase lunga, vedere Diagnosi di una fase lunga in Spark.
Molti piccoli lavori
Quello che stiamo cercando qui è una sequenza temporale dominata da piccoli posti di lavoro. Potrebbe essere simile al seguente:
lavori piccoli
Si notino tutte le piccole linee blu. Ognuno di questi è un piccolo lavoro che ha richiesto alcuni secondi o meno.
Se la cronologia consiste principalmente di piccole attività, vedere Molte piccole attività Spark.
Nessuno dei precedenti
Se la tua sequenza temporale non assomiglia a nessuna delle precedenti, il passaggio successivo consiste nell'identificare l'attività più lunga. Ordinare i processi per durata e fare clic sul collegamento nella descrizione per il processo più lungo:
Una volta che si è nella pagina del processo più lungo, ulteriori informazioni sull'analisi di questa fase prolungata si trovano in Diagnosi di una fase lunga in Spark.