Processi o executor non riusciti rimossi
Vengono visualizzati processi non riusciti o executor rimossi:
I motivi più comuni per cui vengono rimossi gli executor sono:
- Scalabilità automatica: in questo caso è previsto e non è un errore. Consultare Abilitare la scalabilità automatica.
- Perdite di istanze spot: il provider di servizi cloud sta recuperando le macchine virtuali. Altre informazioni sulle istanze spot sono disponibili qui.
- Executor che esauriscono la memoria
Processi con esito negativo
Se vengono visualizzati processi non riusciti, fare clic su di essi per accedere alle loro pagine. Scorrere quindi verso il basso per visualizzare la fase non riuscita e un motivo di errore:
È possibile che venga visualizzato un errore generico. Fare clic sul collegamento nella descrizione per vedere se è possibile ottenere altre informazioni:
Se si scorre verso il basso in questa pagina, sarà possibile vedere perché ogni attività non è riuscita. In questo caso è chiaro che si è verificato un problema di memoria:
Executor con errori
Per scoprire perché gli executor hanno esito negativo, è necessario prima controllare il registro eventi dell'ambiente di calcolo per verificare se è presente una spiegazione del motivo per cui gli executor hanno avuto esito negativo. Ad esempio, è possibile usare istanze spot e il provider di servizi cloud li riprende.
Verificare se sono presenti eventi che spiegano la perdita di executor. Ad esempio, è possibile che vengano visualizzati messaggi che indicano che il cluster sta ridimensionando o individuare le istanze andranno perse.
- Se si usano istanze spot, vedere Perdita di istanze spot.
- Se il calcolo è stato ridimensionato con la scalabilità automatica, è previsto e non si tratta di un errore. Vedere Altre informazioni sul ridimensionamento del cluster.
Se non vengono visualizzate informazioni nel registro eventi, tornare all'interfaccia utente di Spark e quindi fare clic sulla scheda Executors (Executor ):
Qui è possibile ottenere i log dagli executor non riusciti:
Passaggio successivo
Se hai ottenuto questo punto, la spiegazione più simile è un problema di memoria. Il passaggio successivo consiste nell'esaminare i problemi di memoria. Vedere Problemi di memoria Spark.