Condividi tramite

Note sulla versione DLT e processo di aggiornamento della versione

  • Articolo

Questo articolo illustra il processo di rilascio DLT, come viene gestito il runtime DLT e fornisce collegamenti alle note sulla versione per ogni versione DLT.

canali di runtime DLT

Nota

Per visualizzare le versioni di Databricks Runtime usate con una versione DLT, vedere le note sulla versione per tale versione.

I cluster DLT utilizzano runtime basati su versioni e note sulla compatibilità di Databricks Runtime. Databricks aggiorna automaticamente i runtime DLT per supportare miglioramenti e aggiornamenti alla piattaforma. È possibile usare il campo channel nelle impostazioni della pipeline DLT per controllare la versione del runtime DLT che esegue la pipeline. I valori supportati sono:

  • current per usare la versione di runtime corrente.
  • preview per testare la tua pipeline con le modifiche imminenti alla versione del runtime.

Per impostazione predefinita, le pipeline vengono eseguite usando la versione di runtime current. Databricks consiglia di usare il runtime di current per i carichi di lavoro di produzione. Per informazioni su come usare l'impostazione preview per testare le pipeline con la versione di runtime successiva, vedere Automatizzare il test delle pipeline con la versione di runtime successiva.

Importante

Le funzionalità contrassegnate come disponibili a livello generale o anteprima pubblica sono disponibili nel canale current.

Per altre informazioni sui canali DLT, vedere il campo channel nelle impostazioni della pipeline DLT .

Per informazioni su come DLT gestisce il processo di aggiornamento per ogni versione, vedere Come funzionano gli aggiornamenti DLT?.

Come si trova la versione di Databricks Runtime per un aggiornamento della pipeline?

È possibile eseguire una query sul registro eventi DLT per trovare la versione di Databricks Runtime per un aggiornamento della pipeline. Vedere informazioni sul runtime.

Note sulla versione di DLT

Le note sulla versione DLT sono organizzate per anno e settimana dell'anno. Poiché DLT è senza versione, le modifiche dell'area di lavoro e di runtime vengono eseguite automaticamente. Le note sulla versione seguenti offrono una panoramica delle modifiche e delle correzioni di bug in ogni versione:

Come funzionano gli aggiornamenti DLT?

DLT è considerato un prodotto senza versione, il che significa che Databricks aggiorna automaticamente il runtime DLT per supportare miglioramenti e aggiornamenti alla piattaforma. Databricks consiglia di limitare le dipendenze esterne per le pipeline DLT.

Databricks funziona in modo proattivo per impedire agli aggiornamenti automatici di introdurre errori o problemi alle pipeline DLT di produzione. Consultare il processo di aggiornamento DLT .

In particolare per gli utenti che distribuiscono pipeline DLT con dipendenze esterne, Databricks consiglia di testare in modo proattivo le pipeline con canali preview. Vedere Automatizzare i test delle pipeline con la versione di runtime successiva.

processo di aggiornamento DLT

Databricks gestisce il databricks Runtime usato dalle risorse di calcolo DLT. DLT aggiorna automaticamente il runtime nelle aree di lavoro di Azure Databricks e monitora l'integrità delle pipeline dopo l'aggiornamento.

Se DLT rileva che una pipeline non può essere avviata a causa di un aggiornamento, la versione di runtime per la pipeline viene ripristinata alla versione precedente nota per essere stabile e vengono attivati automaticamente i passaggi seguenti:

  • Il runtime DLT della pipeline è fissato alla versione precedente considerata valida.
  • Il supporto di Databricks riceve una notifica del problema.
    • Se il problema è correlato a una regressione nel runtime, Databricks risolve il problema.
    • Se il problema è causato da una libreria personalizzata o da un pacchetto usato dalla pipeline, Databricks contatta l'utente per risolvere il problema.
  • Quando il problema viene risolto, Databricks avvia nuovamente l'aggiornamento.

Importante

DLT ripristina solo le pipeline in esecuzione in modalità di produzione con il canale configurato come current.

Automatizzare il test delle pipeline con la versione di runtime successiva

Per assicurarsi che le modifiche nella versione successiva del runtime DLT non influiscono sulle pipeline, usare la funzionalità canali DLT:

  1. Creare una pipeline di staging e impostare il canale su preview.
  2. Nell'interfaccia utente DLT creare una pianificazione per l'esecuzione settimanale della pipeline e consentire agli avvisi di ricevere una notifica tramite posta elettronica per gli errori della pipeline. Databricks consiglia di pianificare l'esecuzione settimanale dei test delle pipeline, soprattutto se si utilizzano dipendenze della pipeline personalizzate .
  3. Se si riceve una notifica di un errore e non è possibile risolverlo, aprire un ticket di supporto con Databricks.

dipendenze della pipeline

DLT supporta dipendenze esterne nelle pipeline; Ad esempio, è possibile installare qualsiasi pacchetto Python usando il comando %pip install. DLT supporta anche l'uso di script di inizializzazione con ambito globale e relativo al cluster . Tuttavia, queste dipendenze esterne, in particolare gli script init, aumentano il rischio di problemi con gli aggiornamenti di runtime. Per attenuare questi rischi, ridurre al minimo l'uso di script init nelle pipeline. Se l'elaborazione richiede script init, automatizzare i test della pipeline per rilevare i problemi in anticipo; vedere Automatizzare i test delle pipeline con la versione di runtime successiva. Se si usano script init, Databricks consiglia di aumentare la frequenza di test.