Monitoraggio e osservabilità per i lavori di Databricks

Questo articolo descrive le funzionalità disponibili nell'interfaccia utente di Azure Databricks per visualizzare i lavori a cui si ha accesso, visualizzare una cronologia delle esecuzioni per un lavoro e visualizzare i dettagli delle esecuzioni dei lavori. Per configurare le notifiche per i processi, vedere Aggiungere notifiche in un processo.

Per informazioni sull'uso della CLI di Databricks per visualizzare ed eseguire i lavori, eseguire i comandi della CLI databricks jobs list -h, databricks jobs get -h e databricks jobs run-now -h. Per informazioni sull'uso dell'API Processi, vedere l'API Processi.

Se si ha accesso allo schema system.lakeflow, è anche possibile visualizzare ed eseguire query sui record delle esecuzioni e delle task dei lavori nell'account. Consultare Informazioni di riferimento sulla tabella di sistema processi.

Visualizzare i lavori

Per visualizzare l'elenco dei lavori a cui si ha accesso, cliccare su Flussi di lavoro nella barra laterale. La scheda processi nell'interfaccia utente Flussi di lavoro elenca le informazioni su tutti i processi disponibili, come l'autore del processo, il trigger del processo, se presente, e il risultato delle ultime cinque esecuzioni.

Per modificare le colonne visualizzate nell'elenco dei compiti, cliccare su e selezionare o deselezionare le colonne.

È possibile filtrare i lavori nell'elenco Lavori, come illustrato nella schermata seguente.

1. Ricerca di parole chiave. La ricerca di parole chiave è supportata per i campi nome, ID lavoro e tag lavoro. Per cercare un tag creato con una chiave e un valore, è possibile eseguire ricerche in base alla chiave, al valore o sia alla chiave che al valore. Ad esempio, per un tag con la chiave department e il valore finance, è possibile cercare department o finance trovare i lavori corrispondenti. Per eseguire una ricerca in base alla chiave e al valore, immettere la chiave e il valore separati da due punti ( ad esempio, department:finance).
2. Selezione solo dei lavori di cui si è proprietari.
3. Selezionare tutti i processi per cui si dispone delle autorizzazioni di accesso.
4. Seleziona tutti i lavori contrassegnati come preferiti.
5. Uso dei tag. Per eseguire ricerche in base al tag, è possibile usare il menu a discesa tag per filtrare fino a cinque tag contemporaneamente o usare direttamente la ricerca di parole chiave.

È anche possibile ordinare l'elenco di lavori (in ordine crescente o decrescente) in base a Nome, ID lavoro, o Creato da facendo clic sull'intestazione delle colonne. Per impostazione predefinita, i processi vengono ordinati in base Nome in ordine crescente.

Per avviare un processo, fare clic sul pulsante Riproduci. Per fermare un lavoro, fare clic sul pulsante Arresta. Per accedere ad altre azioni dell'attività, fare clic sul menu kebab (ad esempio, per eliminare l'attività).

Visualizza le esecuzioni per un singolo job

È possibile visualizzare un elenco delle esecuzioni attualmente in esecuzione e completate di recente per un processo a cui si ha accesso, incluse le esecuzioni avviate da strumenti di orchestrazione esterni, ad esempio Apache Airflow o Azure Data Factory. Per visualizzare l'elenco delle esecuzioni dei lavori recenti:

1. Cliccare Flussi di lavoro nella barra laterale.
2. Nella colonna Nome, cliccare sul nome di un lavoro. La scheda Esecuzioni è visibile con le visualizzazioni matrice ed elenco delle esecuzioni attive e completate.

La visualizzazione matrice mostra una cronologia delle esecuzioni per il lavoro, inclusa ogni task del lavoro.

Nella riga Durata totale esecuzione della matrice viene visualizzata la durata totale dell'esecuzione e il suo stato. Per visualizzare i dettagli dell'esecuzione, inclusi l'ora di inizio, la durata e lo stato, passare il puntatore sulla barra nella riga Durata totale esecuzione.

Ogni cella nella riga Tasks rappresenta una task e lo stato corrispondente della task. Per visualizzare i dettagli di ogni task, inclusi l'ora di inizio, la durata, il cluster e lo stato, passare il puntatore del mouse sulla cella per tale task.

Le barre di esecuzione del lavoro e di esecuzione delle task sono codificate a colori per indicare lo stato dell'esecuzione. Le esecuzioni riuscite sono verdi. Le esecuzioni non riuscite sono rosse, le esecuzioni ignorate sono rosa e le esecuzioni in attesa di ritentativo sono gialle. In sospeso, annullato o scaduto sono grigi. L'altezza della singola esecuzione del lavoro e delle barre di esecuzione delle task indica visivamente la durata dell'esecuzione.

Se è stato configurato un tempo di completamento previsto, la visualizzazione matrice visualizza un avviso quando la durata di un'esecuzione supera il tempo configurato.

Per impostazione predefinita, la visualizzazione elenco esecuzioni visualizza quanto segue:

• Ora di inizio per l'esecuzione.
• Identificatore dell'esecuzione.
• Se l'esecuzione è stata attivata da una programmazione processi o da una richiesta API, oppure è stata avviata manualmente.
• Tempo trascorso per un lavoro attualmente in esecuzione o il tempo di esecuzione totale per un'esecuzione completata. Se la durata supera un tempo di completamento previsto configurato, viene visualizzato un avviso.
• Stato dell'esecuzione, Accodato, In attesa, Esecuzione, Ignorato, Riuscito, Non riuscito, Timeout, Annullamentoo Annullato.
• Codice di errore con cui è stata terminata l'esecuzione.
• Parametri di esecuzione.

Le esecuzioni attive attualmente visualizzano un pulsante di stop. Per arrestare tutti i processi attivi e in coda, selezionare Annulla processi o Annulla tutti i processi in coda dal menu a discesa.

Usare il per un'esecuzione per azioni aggiuntive specifiche del contesto, ad esempio l'eliminazione di voci per le esecuzioni completate.

Per accedere alle azioni specifiche del contesto per l'esecuzione, fare clic sul menu kebab (ad esempio, per arrestare un'esecuzione attiva o eliminare un'esecuzione completata).

Per modificare le colonne visualizzate nella visualizzazione elenco esecuzioni, cliccare su e selezionare o deselezionare le colonne.

Per visualizzare i dettagli per un'esecuzione del lavoro, cliccare sul collegamento per l'esecuzione nella Ora di inizio nella visualizzazione elenco esecuzioni. Per visualizzare i dettagli dell'esecuzione più recente del lavoro, cliccare su Vai all'ultima esecuzione riuscita.

Azure Databricks mantiene una cronologia delle esecuzioni del lavoro per un massimo di 60 giorni. Se è necessario mantenere le esecuzioni dei lavori, Databricks consiglia di esportare i risultati prima della loro scadenza. Per altre informazioni, vedere Esportazione dei risultati di esecuzione del lavoro.

Visualizzare i dettagli di esecuzione del lavoro

La pagina dei dettagli di esecuzione del lavoro contiene l'output del lavoro e i collegamenti ai log, incluse le informazioni sull'esito positivo o negativo di ogni task nell'esecuzione del lavoro. È possibile accedere ai dettagli dell'esecuzione del lavoro dalla scheda Esecuzioni per il lavoro.

Per visualizzare i dettagli dell'esecuzione del lavoro dalla scheda Esecuzioni, cliccare sul collegamento per l'esecuzione nella colonna Ora di inizio nella visualizzazione dell'elenco esecuzioni. Per tornare alla scheda Esecuzioni per il lavoro, cliccare sul valore ID lavoro.

I lavori con più attività hanno anche un grafico, una sequenza temporale e una visualizzazione elenco.

Vista grafico

Fare clic su un nodo attività nel grafico per visualizzare i dettagli dell'esecuzione dell'attività, tra cui:

• Dettagli delle attività, tra cui l'esecuzione come, il modo in cui il processo è stato avviato, l'ora di inizio, l'ora di fine, la durata e lo stato.
• Codice sorgente.
• Cluster che ha eseguito l'attività e collegamenti alla cronologia delle query e ai log.
• Metriche per l'attività.

Visualizzazione sequenza temporale

I processi che contengono più attività hanno una vista cronologica per identificare le attività che richiedono molto tempo per il completamento, comprendere le dipendenze e le sovrapposizioni per supportare il debug e l'ottimizzazione di questi processi.

Visualizzazione elenco

Per impostazione predefinita, la visualizzazione in elenco mostra lo stato, il nome, il tipo, la risorsa, la durata e le dipendenze. È possibile aggiungere e rimuovere colonne in questa visualizzazione.

È possibile cercare un'attività in base al nome, filtrare in base allo stato dell'attività o al tipo di attività e ordinare le attività in base allo stato, al nome o alla durata.

Cliccare sul valore ID lavoro per tornare alla scheda Esecuzioni per il lavoro.

In che modo Azure Databricks determina lo stato di esecuzione del lavoro?

Azure Databricks determina se un'esecuzione del lavoro è stata eseguita correttamente in base al risultato delle task foglia del lavoro. Una task foglia è una task che non ha dipendenze downstream. Un'esecuzione del lavoro può avere uno dei tre risultati seguenti:

• Operazione completata: tutte le task hanno avuto esito positivo.
• Operazione riuscita con errori: alcune task non sono riuscite, ma tutte le task foglia hanno avuto esito positivo.
• Operazione non riuscita: errore per una o più task foglia.
• Ignorato: l'esecuzione del job è stata saltata. Ad esempio, un'attività potrebbe essere saltata perché è stato superato il numero massimo di esecuzioni simultanee consentite per il job o per lo spazio di lavoro.
• Timeout: il processo ha richiesto troppo tempo e non è stato completato nei tempi previsti.
• Annullata: l'esecuzione del processo è stata annullata( ad esempio, un utente ha annullato manualmente l'esecuzione in corso).

Visualizzare le metriche per le attività di streaming

Importante

L'osservabilità dello streaming per i Jobs di Databricks si trova in anteprima pubblica.

Quando si visualizzano i dettagli dell'esecuzione del job, è possibile ottenere dati sui carichi di lavoro dello streaming con metriche di osservabilità dello streaming nell'interfaccia utente dei job. Queste metriche includono i secondi di backlog, i byte di backlog, i record di backlog e i file di backlog per le origini supportate da Spark Structured Streaming, tra cui Apache Kafka, Amazon Kinesis, Auto Loader, Google Pub/Sub e tabelle Delta. Le metriche vengono visualizzate come grafici nel riquadro a destra quando si visualizzano i dettagli dell'esecuzione di un'attività. Le metriche visualizzate in ogni grafico sono valori massimi aggregati per minuto e possono includere fino alle 48 ore precedenti.

Ogni origine di streaming supporta solo metriche specifiche. Le metriche non supportate da un'origine di streaming non sono disponibili per la visualizzazione nell'interfaccia utente. La tabella seguente illustra le metriche disponibili per le origini di streaming supportate:

fonte	byte backlog	registrazioni arretrate	arretrato secondi	file backlog
Kafka	✓	✓
Kinesi	✓		✓
Delta	✓			✓
Caricatore automatico	✓			✓
Google Pub/Sub	✓	✓

È anche possibile specificare le soglie per ogni metrica di streaming e configurare le notifiche se un flusso supera una soglia durante l'esecuzione di un'attività. Vedere Configurare le notifiche per i processi lenti.

Per visualizzare le metriche di streaming per un'attività di esecuzione che trasmette i dati da una delle origini di Structured Streaming supportate:

1. Nella pagina dettagli di esecuzione del processo, fare clic sull'attività per cui si desidera visualizzare le metriche.
2. Fare clic sulla scheda Metriche nel riquadro Esecuzione attività.
3. Per aprire il grafico per una metrica, fare clic su Right Caret accanto al nome della metrica.
4. Per visualizzare le metriche per un flusso specifico, immettere l'ID del flusso nella casella di testo Filtra per stream_id. È possibile trovare l'ID del flusso nell'output per l'esecuzione del job.
5. Per modificare il periodo temporale dei grafici delle metriche, utilizzare il menu a discesa del tempo.
6. Per scorrere i flussi se l'esecuzione contiene più di dieci flussi, fare clic su Avanti o Precedente.

Limitazioni dell'osservabilità dello streaming

• Le metriche vengono aggiornate ogni minuto, a meno che un processo non abbia più di quattro flussi. Se un'esecuzione ha più di quattro flussi, le metriche vengono aggiornate ogni cinque minuti.
• Le metriche vengono raccolte solo per i primi cinquanta stream in ogni esecuzione.

Visualizzare la cronologia di esecuzione della task

Per visualizzare la cronologia di esecuzione di una task, incluse le esecuzioni riuscite e non riuscite:

1. Cliccare su una task nella pagina Dettagli esecuzione lavoro. Viene visualizzata la pagina Dettagli esecuzione task.
2. Nel menu a discesa di cronologia di esecuzione selezionare l'esecuzione task.

Visualizzare la cronologia di esecuzione per una task For each

L'accesso alla cronologia di esecuzione per una task For each è identico a quello di una task Lavori standard di Azure Databricks. È possibile cliccare sul nodo task For each nella pagina Dettagli esecuzione lavoro o nella cella corrispondente nella visualizzazione matrice. Tuttavia, a differenza di una task standard, i dettagli di esecuzione per una task For each vengono presentati come tabella delle iterazioni nidificate della task.

Per visualizzare solo le iterazioni non riuscite, cliccare su Solo iterazioni non riuscite.

Per visualizzare l'output di un'iterazione, cliccare sui valori Ora di inizio o Ora di fine dell'iterazione.

Visualizzare le esecuzioni recenti delle attività in tutte le attività

È possibile visualizzare un elenco delle esecuzioni in esecuzione e completate di recente per tutti i lavori di un'area di lavoro a cui si ha accesso, incluse le esecuzioni avviate da strumenti di orchestrazione esterni, ad esempio Apache Airflow o Azure Data Factory. Per visualizzare l'elenco delle esecuzioni dei lavori recenti:

1. Cliccare Flussi di lavoro nella barra laterale.
2. Fare clic sulla scheda Esecuzioni processo per visualizzare il grafico del conteggio delle esecuzioni completate e l'elenco delle esecuzioni processo.

Grafico del conteggio delle esecuzioni completate

Il grafico Conteggio esecuzioni completate visualizza il numero di esecuzioni di lavoro completate nelle ultime 48 ore. Per impostazione predefinita, il grafico visualizza le esecuzioni di lavori non riuscite, ignorate e riuscite. È anche possibile filtrare il grafico per visualizzare stati di esecuzione specifici o limitare il grafico a un intervallo di tempo specifico. La scheda Esecuzioni lavoro include anche una tabella di esecuzioni lavoro degli ultimi 67 giorni. Per impostazione predefinita, la tabella include dettagli sulle esecuzioni di lavori non riuscite, ignorate e riuscite.

Nota

Il grafico Conteggio esecuzioni completate viene visualizzato solo quando si clicca su Di mia proprietà.

È possibile filtrare il Conteggio delle esecuzioni completate in base allo stato di esecuzione:

• Per aggiornare il grafico per visualizzare i lavori attualmente in esecuzione o in attesa di esecuzione, cliccare su Esecuzioni attive.
• Per aggiornare il grafico per visualizzare solo le esecuzioni completate, incluse quelle non riuscite, riuscite e ignorate, cliccare su Esecuzioni completate.
• Per aggiornare il grafico per visualizzare solo le esecuzioni completate correttamente nelle ultime 48 ore, cliccare su Esecuzioni riuscite.
• Per aggiornare il grafico per visualizzare solo le esecuzioni ignorate, cliccare su Esecuzioni ignorate. Le esecuzioni vengono ignorate perché è stato superato il numero massimo di esecuzioni simultanee nell'area di lavoro, oppure perché il lavoro ha superato il numero massimo di esecuzioni simultanee specificate dalla configurazione del lavoro.
• Per aggiornare il grafico per visualizzare solo le esecuzioni completate in uno stato di errore, cliccare su Esecuzioni non riuscite.

Quando si fa clic su uno dei pulsanti filtro, l'elenco di esecuzioni nella tabella delle esecuzioni viene aggiornato anche per visualizzare solo le esecuzioni di lavori corrispondenti allo stato selezionato.

Per limitare l'intervallo di tempo visualizzato nel grafico Conteggio esecuzioni completate, cliccare e trascinare il cursore nel grafico per selezionare l'intervallo di tempo. Il grafico e l'aggiornamento della tabella di esecuzione per visualizzare le esecuzioni vengono eseguiti solo dall'intervallo di tempo selezionato.

La tabella Primi 5 tipi di errore visualizza un elenco con i tipi di errore più frequenti nell'intervallo di tempo selezionato, consentendo di visualizzare rapidamente le cause più comuni dei problemi di lavoro nell'area di lavoro.

Elenco esecuzioni attività

La scheda Esecuzioni include anche una tabella delle esecuzioni degli ultimi sessanta giorni. Per impostazione predefinita, la tabella include dettagli sulle esecuzioni di lavori non riuscite, ignorate e riuscite.

È possibile filtrare l'elenco delle esecuzioni visualizzate in base ai seguenti elementi:

• Processo: selezionare fino a 3 processi e visualizzare solo le esecuzioni per questi processi.
• Esegui come: Seleziona fino a 3 identità di esecuzione e visualizza solo le esecuzioni effettuate come questi utenti.
• Intervallo di tempo: selezionare una data e l'ora di inizio e di fine per restringere le esecuzioni dei processi che si sono verificate in questo intervallo.
• Stato dell'esecuzione: filtra per visualizzare solo le esecuzioni attive (attualmente in corso), completate (terminate, incluse esecuzioni riuscite e fallite), riuscite, fallite e ignorate.
• Codice errore: filtrare l'elenco in base al codice di errore per visualizzare tutti i processi che hanno avuto esito negativo con lo stesso codice di errore.

Per impostazione predefinita, l'elenco delle esecuzioni nella tabella delle esecuzioni visualizza quanto segue:

• Ora di inizio per l'esecuzione.
• Il nome lavoro associato all'esecuzione.
• Nome utente con cui viene eseguito il lavoro.
• Se l'esecuzione è stata attivata da una programmazione processi o da una richiesta API, oppure è stata avviata manualmente.
• Tempo trascorso per un lavoro attualmente in esecuzione o il tempo di esecuzione totale per un'esecuzione completata. Se la durata supera un tempo di completamento previsto configurato, viene visualizzato un avviso.
• Stato dell'esecuzione: Accodato, Pendente, In esecuzione, Ignorato, Riuscito, Non riuscito, Tempo scaduto, Annullamentoo Annullato.
• Qualsiasi codice di errore con cui è stata terminata l'esecuzione.
• Qualsiasi parametro per l'esecuzione.
• Per arrestare un'attività in esecuzione, fare clic sul pulsante arresta. Per accedere alle azioni per l'attività, fare clic sul menu Kebab (ad esempio, per arrestare un'esecuzione attiva o eliminare un'esecuzione completata).

Per modificare le colonne visualizzate nell'elenco delle esecuzioni, cliccare e selezionare o deselezionare le colonne.

Per visualizzare i dettagli dell'esecuzione lavoro, cliccare sul collegamento Ora di inizionella colonna per l'esecuzione. Per visualizzare i dettagli del lavoro, cliccare sul nome del lavoro nella colonna Lavoro.

Visualizzare le informazioni sulla derivazione per un lavoro

Se Unity Catalog è abilitato nell'area di lavoro, è possibile visualizzare le informazioni sulla derivazione per qualsiasi tabella di Unity Catalog nel flusso di lavoro. Se le informazioni sulla derivazione sono disponibili per il flusso di lavoro, verrà visualizzato un collegamento con un conteggio delle tabelle upstream e downstream nel pannello Dettagli lavoro relativi al lavoro in questione, il pannello Dettagli esecuzione lavoro per un'esecuzione lavoro o il pannello Dettagli esecuzione task per un'esecuzione task. Cliccare sul collegamento per visualizzare l'elenco delle tabelle. Cliccare su una tabella per visualizzare informazioni dettagliate in Explorer catalogo.

Visualizzare ed eseguire un processo creato con un bundle di asset di Databricks

È possibile usare l'interfaccia utente dei processi di Azure Databricks per visualizzare ed eseguire i processi distribuiti da un bundle di asset di Databricks. Per impostazione predefinita, questi processi sono di sola lettura nell'interfaccia utente processi. Per modificare un processo distribuito da un bundle, modificare il file di configurazione del bundle e ridistribuire il processo. L'applicazione delle modifiche solo alla configurazione del bundle garantisce che i file di origine del bundle acquisiscano sempre la configurazione del processo corrente.

Tuttavia, se è necessario apportare modifiche immediate a un processo, è possibile disconnettere il processo dalla configurazione del bundle per abilitare la modifica delle impostazioni del processo nell'interfaccia utente. Per disconnettersi dalla sessione, fare clic su Disconnetti dall’origine. Nella finestra di dialogo Disconnetti dall'origine fare clic su Disconnetti per confermare.

Le modifiche apportate al processo nell'interfaccia utente non vengono applicate alla configurazione del bundle. Per applicare le modifiche apportate nell'interfaccia utente al bundle, è necessario aggiornare manualmente la configurazione del bundle. Per riconnettere il processo alla configurazione del bundle, ridistribuire il processo usando il bundle.

Esportare i risultati di esecuzione del lavoro

È possibile esportare i risultati di esecuzione del notebook e i log di esecuzione dei lavori per tutti i tipi di lavoro.

Esportare i risultati di esecuzione del notebook

È possibile rendere persistenti le esecuzioni dei lavori esportandone i risultati. Per le esecuzioni dei lavori notebook, è possibile esportare un notebook sottoposto a rendering che può essere successivamente importato nell'area di lavoro di Databricks.

Per esportare i risultati di esecuzione del notebook per un lavoro con una singola task:

1. Nella pagina dei dettagli del lavoro cliccare sul collegamento Visualizza dettagli per l'esecuzione nella colonna Esegui della tabella Esecuzioni completate (ultimi 60 giorni).
2. Cliccare su Esporta in HTML.

Per esportare i risultati di esecuzione del notebook per un lavoro con più task:

1. Nella pagina dei dettagli del lavoro cliccare sul collegamento Visualizza dettagli per l'esecuzione nella colonna Esegui della tabella Esecuzioni completate (ultimi 60 giorni).
2. Fare clic sulla task del notebook da esportare.
3. Cliccare su Esporta in HTML.

Esportare i log di esecuzione del lavoro

È anche possibile esportare i log per l'esecuzione del lavoro. È possibile configurare le attività per recapitare automaticamente i log a DBFS mentre si configura il calcolo delle attività (vedere riferimento alla configurazione di calcolo) o tramite l'API delle attività. Vedere l'oggetto new_cluster.cluster_log_conf nel corpo della richiesta passato all'operazione Crea un nuovo processo (POST /jobs/create) nell'API Processi.