Panoramica del monitoraggio di Apache Spark
Il monitoraggio di Microsoft Fabric Spark è progettato per offrire un'esperienza basata su un’interfaccia utente Web con funzionalità avanzate predefinite per monitorare lo stato e l’avanzamento delle applicazioni Spark in corso, esplorare le attività precedenti di Spark, analizzare e ottimizzare le prestazioni e facilitare la risoluzione degli errori. Sono disponibili più punti di ingresso per l'esplorazione, il monitoraggio e la visualizzazione dei dettagli dell'applicazione Spark.
Hub di monitoraggio
L'hub Monitor funge da portale centralizzato per esplorare le attività Spark tra i elementi. A colpo d'occhio è possibile visualizzare le applicazioni Spark in corso attivate da notebook, definizioni processo di Spark e pipeline. È anche possibile cercare e filtrare le applicazioni Spark in base a criteri diversi ed eseguire il drill-down per visualizzare altri dettagli di esecuzione Spark di un'applicazione Spark. Nel portale Fabric, selezionare Monitor nel riquadro di spostamento per aprire l'hub Monitor.
Esecuzioni recenti degli elementi
Quando si lavora su elementi specifici, la funzionalità Esecuzioni recenti consente di esplorare le attività correnti e recenti dell'elemento, e ottenere informazioni dettagliate sulla persona che invia la richiesta, sullo stato, sulla durata e altre informazioni per le attività inviate dall'utente o da altri utenti.
Monitoraggio contestuale dei notebook
Il monitoraggio contestuale dei notebook consente di creare, monitorare ed eseguire il debug di processi Spark in un'unica posizione. È possibile monitorare lo stato dei processi Spark, visualizzare gli executor e le attività di esecuzione di Spark, e accedere ai log di Spark all'interno di un notebook a livello di cella del notebook. Spark Advisor è integrato anche in Notebook per offrire consigli in tempo reale sull'esecuzione di Spark di codice e celle, ed eseguire l'analisi degli errori.
Monitoraggio inline della definizione processo Spark
La funzionalità di monitoraggio inline della definizione processo Spark consente di visualizzare l'invio della definizione processo Spark e lo stato di esecuzione in tempo reale, nonché visualizzare le esecuzioni e le configurazioni precedenti della definizione processo Spark. È possibile passare alla pagina dei dettagli dell'applicazione Spark per visualizzare altri dettagli.
Monitoraggio inline dell'attività della pipeline Spark
Per il monitoraggio inline dell'attività della pipeline Spark, nelle attività di definizione processo Notebook e Spark all'interno della pipeline sono stati integrati collegamenti diretti. È possibile visualizzare i dettagli di esecuzione dell'applicazione Spark, il rispettivo snapshot di definizione processo di Notebook e Spark, e accedere ai log di Spark per la risoluzione dei problemi. In caso di errori delle attività Spark, il messaggio di errore inline è disponibile anche all’interno delle attività della pipeline Spark.
Contenuto correlato
- Apache Spark Advisor per consigli in tempo reale sui notebook
- Esplorare le applicazioni Apache Spark nell'hub di monitoraggio di Fabric
- Esplorare le esecuzioni recenti dell'elemento
- Monitorare processi Spark all'interno di un notebook
- Monitorare una definizione processo Apache Spark
- Monitoraggio dei dettagli dell'applicazione Apache Spark
- Usare il server della cronologia di Apache Spark esteso per il debug e la diagnosi di applicazioni Apache Spark
- Monitorare il consumo di capacità Spark