Condividi tramite

Delta Live Tables versione 2022.49

  • Articolo

6 dicembre - 9, 2022

Queste funzionalità e miglioramenti sono stati rilasciati con la versione 2022.49 di Delta Live Tables.

Versioni di Databricks Runtime usate da questa versione

Canale:

  • CURRENT (impostazione predefinita): Databricks Runtime 11.0.11
  • ANTEPRIMA: Databricks Runtime 11.3.2

Nuove funzionalità e miglioramenti in questa versione

  • È ora possibile importare file da una cartella Git di Databricks come moduli Python. È possibile importare file dal percorso del repository corrente o da un percorso di repository specificato usando sys.path.append().

  • La scalabilità automatica migliorata è ora disponibile a livello generale. Con questa versione, la scalabilità automatica avanzata è la modalità di scalabilità automatica predefinita per le nuove pipeline create nell'interfaccia utente. Databricks consiglia di aggiornare le pipeline che usano la scalabilità automatica del cluster esistente per usare la scalabilità automatica avanzata.

  • Per le pipeline eseguite in modalità continua, il limite di tentativi predefinito è ora 2 quando si verificano errori ritentabili. Incluso il tentativo originale, tutti i flussi hanno tre tentativi (con backoff esponenziale) da eseguire quando si verificano errori non irreversibili. In precedenza, le impostazioni predefinite erano tentativi non associati per i flussi batch e cinque tentativi per i flussi di streaming.

  • Il parametro pipelines.maxFlowRetryAttempts di configurazione si applica ora al limite di tentativi per tutti i flussi, inclusi i flussi batch e di streaming e le pipeline continue o attivate. In precedenza, pipelines.maxFlowRetryAttempts applicato a tutti i limiti di ripetizione dei tentativi in modalità attivata, ma solo i flussi batch in modalità continua; i tentativi per le pipeline di streaming in modalità continua erano controllati da pipelines.numStreamRetryAttempts. Per le pipeline esistenti, pipelines.numStreamRetryAttempts continua a essere supportato per i flussi di streaming in modalità continua. Se e pipelines.numStreamRetryAttempts pipelines.maxFlowRetryAttempts sono impostati, pipelines.numStreamRetryAttempts ha priorità per i flussi di streaming in modalità continua. In caso contrario, viene usato il valore configurato per pipelines.maxFlowRetryAttempts . Vedere Informazioni di riferimento sulle proprietà delle tabelle live delta.

Correzioni di bug in questa versione

  • Questa versione corregge un bug che causa la visualizzazione di calcoli DBU non corretti all'ora per i cluster abilitati per Photon.

  • Questa versione corregge un bug che causa l'esito negativo delle attività di manutenzione delle tabelle live delta nelle aree di lavoro abilitate per Il catalogo Unity.

  • Questa versione corregge un bug in cui l'arresto o il riavvio di una pipeline continua che inserisce dati con il caricatore automatico causa il blocco della pipeline per alcuni minuti.