Monitorare l'utilizzo delle risorse delle applicazioni Apache Spark
Il grafico di utilizzo dell'executor nella scheda Risorse visualizza l'allocazione e l'utilizzo degli executor Spark per l'applicazione Spark corrente quasi in tempo reale durante l'esecuzione di Spark. Il grafico offre anche un'esperienza interattiva, che consente di visualizzare processi e attività Spark facendo clic sull'esecuzione di executor in un determinato momento. Attualmente, solo il runtime di Spark versione 3.4 e successive supporta questa funzionalità.
Scheda Risorse
Fare clic sulla scheda Risorse di per accedere a un grafico con quattro grafici a linee distinti, ognuno che illustra uno stato diverso dell'executor: Running, Idled, Allocatoe Maximum instances.
Esecuzione di: indica il numero effettivo di core usati dall'applicazione Spark per eseguire processi e attività Spark.
idled: rappresenta il numero di core disponibili ma inutilizzati durante l'esecuzione dell'applicazione Spark.
Nucleiallocati: si riferisce ai nuclei allocati durante il funzionamento dell'applicazione Spark.
numero massimo di istanze: indica il numero massimo di core che possono essere allocati all'applicazione Spark.
Attivare o deselezionare la legenda dei colori per selezionare o deselezionare il grafico corrispondente nel grafico di utilizzo delle risorse.
Il grafico dell'utilizzo delle risorse è interattivo. Quando si passa il puntatore del mouse sul grafico dei core degli executor in esecuzione, verrà visualizzato un riepilogo dei core e delle informazioni degli executor corrispondenti. Facendo clic su un punto nella linea centrale dell'executor in esecuzione verranno visualizzate informazioni dettagliate sul rispettivo executor e sul lavoro in quel momento specifico, mostrate nella parte inferiore del grafico.
Nota
In alcuni casi, in determinati momenti, il numero di attività può superare la capacità degli executor cores (ovvero, numero di attività > totale executor cores / spark.task.cpus). Questo problema è previsto, perché potrebbe verificarsi un divario di tempo tra un'attività contrassegnata come in esecuzione e l'esecuzione effettiva in un core executor. Di conseguenza, alcune attività possono essere visualizzate come in esecuzione, ma non vengono eseguite attivamente in alcun core.
Contenuto correlato
Per una panoramica del monitoraggio di Fabric Spark, del monitoraggio delle applicazioni Spark e del monitoraggio contestuale dei notebook, è possibile fare riferimento a: