DLT versione 2022.40
settembre 28 - 5 ottobre 2022
Queste funzionalità e miglioramenti sono stati rilasciati con la versione 2022.40 di DLT.
Versioni di Databricks Runtime usate da questa versione
canale :
- CURRENT (impostazione predefinita): Databricks Runtime 11.0.7
- ANTEPRIMA: Databricks Runtime 11.0.7
Nuove funzionalità e miglioramenti in questa versione
- L'uso di un'etichetta cluster diversa da
default
omaintenance
nelle impostazioni della pipeline causa errori durante la creazione o la modifica della pipeline. Per altre informazioni sulla configurazione del cluster per le pipeline DLT, vedere Configurare il calcolo per una pipeline DLT.
- È ora possibile aprire o eseguire pipeline direttamente dai notebook DLT. Vedere Sviluppare ed eseguire il debug di pipeline DLT nei notebook.
- Questa versione include un cambiamento significativo nella struttura dei dati delle impostazioni della pipeline restituita dalle richieste API DLT . Questa modifica restituisce il campo
edition
come valore maiuscolo. In precedenza, questo valore è stato restituito come caso misto. È necessario aggiornare i client che leggono il valoreedition
nelle risposte API per garantire la corretta elaborazione del valore restituito. Tuttavia, il valoreedition
nelle richieste API non fa distinzione tra maiuscole e minuscole; I client che inviano richieste, incluso questo campo, non richiedono l'aggiornamento.
Correzioni di bug in questa versione
- Questa versione corregge un bug che causa la visualizzazione di una pipeline nell'interfaccia utente DLT in uno stato
RUNNING
anche dopo un errore di aggiornamento.
- Questo aggiornamento corregge un bug nell'interfaccia APPLY_CHANGES durante la rielaborazione dei dati di input quando i dati contengono operazioni duplicate di
DELETE
con lo stesso valore nella colonnaSEQUENCE
. Questo scenario comporta valoriNULL
nella tabella di destinazione e la rimozione del valoreDeleteVersion
. Equivale a contrassegnare il record comeNOT-DELETED
. Con questa modifica, le operazioni diDELETE
duplicate vengono gestite in modo idempotente e contrassegnano sempre il record comeDELETED
.
- Questa versione corregge un bug che causa l'eliminazione delle righe durante l'elaborazione scD di tipo 2 quando un record cronologico precedente viene eliminato contenente le stesse colonne del record cronologico successivo.
- Questo aggiornamento corregge un bug che causa a una vista con un'aspettativa
expect_or_fail
di rimanere nello statoRUNNING
anche se l'aspettativa fallisce. Con questa correzione, la pipeline fallisce e passa allo statoFAILED
.