DLT versione 2022.40

settembre 28 - 5 ottobre 2022

Queste funzionalità e miglioramenti sono stati rilasciati con la versione 2022.40 di DLT.

Versioni di Databricks Runtime usate da questa versione

canale :

L'uso di un'etichetta cluster diversa da default o maintenance nelle impostazioni della pipeline causa errori durante la creazione o la modifica della pipeline. Per altre informazioni sulla configurazione del cluster per le pipeline DLT, vedere Configurare il calcolo per una pipeline DLT.

È ora possibile aprire o eseguire pipeline direttamente dai notebook DLT. Vedere Sviluppare ed eseguire il debug di pipeline DLT nei notebook.

Questa versione include un cambiamento significativo nella struttura dei dati delle impostazioni della pipeline restituita dalle richieste API DLT . Questa modifica restituisce il campo edition come valore maiuscolo. In precedenza, questo valore è stato restituito come caso misto. È necessario aggiornare i client che leggono il valore edition nelle risposte API per garantire la corretta elaborazione del valore restituito. Tuttavia, il valore edition nelle richieste API non fa distinzione tra maiuscole e minuscole; I client che inviano richieste, incluso questo campo, non richiedono l'aggiornamento.

Questa versione corregge un bug che causa la visualizzazione di una pipeline nell'interfaccia utente DLT in uno stato RUNNING anche dopo un errore di aggiornamento.

Questo aggiornamento corregge un bug nell'interfaccia APPLY_CHANGES durante la rielaborazione dei dati di input quando i dati contengono operazioni duplicate di DELETE con lo stesso valore nella colonna SEQUENCE. Questo scenario comporta valori NULL nella tabella di destinazione e la rimozione del valore DeleteVersion. Equivale a contrassegnare il record come NOT-DELETED. Con questa modifica, le operazioni di DELETE duplicate vengono gestite in modo idempotente e contrassegnano sempre il record come DELETED.

Questa versione corregge un bug che causa l'eliminazione delle righe durante l'elaborazione scD di tipo 2 quando un record cronologico precedente viene eliminato contenente le stesse colonne del record cronologico successivo.

Questo aggiornamento corregge un bug che causa a una vista con un'aspettativa expect_or_fail di rimanere nello stato RUNNING anche se l'aspettativa fallisce. Con questa correzione, la pipeline fallisce e passa allo stato FAILED.