Sviluppare ed eseguire il debug di pipeline di tabelle live Delta nei notebook

Importante

L'esperienza notebook per lo sviluppo di tabelle live Delta è disponibile in anteprima pubblica.

Questo articolo descrive le funzionalità nei notebook di Azure Databricks che supportano lo sviluppo e il debug del codice delta live tables.

Panoramica delle funzionalità

Quando si lavora in un notebook Python o SQL che rappresenta il codice sorgente per una pipeline di tabelle live Delta esistenti, è possibile connettere il notebook direttamente alla pipeline. Quando il notebook è connesso alla pipeline, sono disponibili le funzionalità seguenti:

• Avviare e convalidare la pipeline dal notebook.
• Visualizzare il grafico del flusso di dati e il registro eventi della pipeline per l'aggiornamento più recente nel notebook.
• Visualizzare la diagnostica della pipeline nell'editor di notebook.
• Visualizzare lo stato del cluster della pipeline nel notebook.
• Accedere all'interfaccia utente di Tabelle live Delta dal notebook.

Prerequisiti

• È necessario disporre di una pipeline delta live tables esistente con un notebook Python o SQL come codice sorgente.
• È necessario essere il proprietario della pipeline o avere il CAN_MANAGE privilegio .

Limiti

• Le funzionalità descritte in questo articolo sono disponibili solo nei notebook di Azure Databricks. I file dell'area di lavoro non sono supportati.
• Il terminale Web non è disponibile quando è collegato a una pipeline. Di conseguenza, non è visibile come scheda nel pannello inferiore.

Connettere un notebook a una pipeline di tabelle live Delta

All'interno del notebook fare clic sul menu a discesa usato per selezionare calcolo. Il menu a discesa mostra tutte le pipeline di tabelle live Delta con questo notebook come codice sorgente. Per connettere il notebook a una pipeline, selezionarlo dall'elenco.

Visualizzare lo stato del cluster della pipeline

Per comprendere facilmente lo stato del cluster della pipeline, il relativo stato viene visualizzato nel menu a discesa di calcolo con un colore verde per indicare che il cluster è in esecuzione.

Convalidare il codice della pipeline

È possibile convalidare la pipeline per verificare la presenza di errori di sintassi nel codice sorgente senza elaborare dati.

Per convalidare una pipeline, eseguire una delle operazioni seguenti:

• Nell'angolo superiore destro del notebook fare clic su Convalida.
• Premere Shift+Enter in qualsiasi cella del notebook.
• Nel menu a discesa di una cella fare clic su Convalida pipeline.

Nota

Se si tenta di convalidare la pipeline mentre è già in esecuzione un aggiornamento esistente, viene visualizzata una finestra di dialogo che chiede se si vuole terminare l'aggiornamento esistente. Se si fa clic su Sì, l'aggiornamento esistente viene arrestato e viene avviato automaticamente un aggiornamento convalidato .

Avviare la pipeline

Un aggiornamento della pipeline esegue le operazioni seguenti: avvia un cluster, individua e convalida tutte le tabelle e le viste definite e crea o aggiorna tabelle e viste con i dati più recenti disponibili.

Per avviare un aggiornamento della pipeline, fare clic sul pulsante Start nell'angolo in alto a destra del notebook.

Visualizzare lo stato di un aggiornamento

Il pannello superiore del notebook visualizza se un aggiornamento della pipeline è:

• Avvio
• Convalida in corso.
• Arresto in corso

Visualizzare errori e diagnostica

Dopo l'avvio o la convalida di una pipeline, eventuali errori vengono visualizzati inline con una sottolineatura rossa. Passare il puntatore del mouse su un errore per visualizzare altre informazioni.

Visualizzare gli eventi della pipeline

Quando è collegata a una pipeline, nella parte inferiore del notebook è presente una scheda del registro eventi di Tabelle live Delta.

Visualizzare il grafico del flusso di dati della pipeline

Per visualizzare il grafico del flusso di dati di una pipeline, usare la scheda grafo Tabelle live Delta nella parte inferiore del notebook. Se si seleziona un nodo nel grafico, lo schema viene visualizzato nel pannello destro.

Come accedere all'interfaccia utente di Tabelle live Delta dal notebook

Per passare facilmente all'interfaccia utente delle tabelle live Delta, usare il menu nell'angolo in alto a destra del notebook.

Accedere ai log dei driver e all'interfaccia utente di Spark dal notebook

È possibile accedere facilmente ai log dei driver e all'interfaccia utente spark associata alla pipeline in fase di sviluppo dal menu Visualizza del notebook.