Condividi tramite

Delta Live Tables versione 2022.37

  • Articolo

14 settembre - 22, 2022

Queste funzionalità e miglioramenti sono stati rilasciati con la versione 2022.37 di Delta Live Tables.

Versioni di Databricks Runtime usate da questa versione

Canale:

  • CURRENT (impostazione predefinita): Databricks Runtime 10.3.7
  • ANTEPRIMA: Databricks Runtime 11.0.5

Nuove funzionalità e miglioramenti in questa versione

  • La richiesta API di avvio dell'aggiornamento restituisce ora il campo request_id nel corpo della risposta. Il request_id è un identificatore stabile per la richiesta originale che avvia l'aggiornamento. Se un aggiornamento viene ritentato o riavviato, il nuovo aggiornamento eredita il request_id.
{
  "update_id": "the ID of the update that was started",
  "request_id": "The ID of the request that started this update"
}

La nuova richiesta API requests (GET /pipelines/{pipeline_id}/requests/{request_id}) restituisce lo stato dell'aggiornamento della pipeline associato a request_id. La risposta include informazioni sull'aggiornamento più recente.

{
   "status": "ACTIVE",
   "latest_update": {
   }
 }

  • Il tuo codice Python può ora chiamare operazioni di spark.sql al di fuori delle funzioni di dlt.table() o dlt.view(), purché l'operazione non stia leggendo da una vista materializzata o da una tabella di streaming.

  • Le voci del registro eventi contengono ora la proprietà maturity per indicare la stabilità dello schema eventi. I valori possibili sono stable, evolvinge deprecated. Per altre informazioni sul registro eventi delta live tables, vedere Che cos'è il registro eventi delta live tables?.

  • Il messaggio di errore viene migliorato quando vengono apportate modifiche incompatibili alle tabelle di origine usate da una tabella di streaming.

  • È ora possibile selezionare un criterio del cluster nell'interfaccia utente di Tabelle live Delta quando si crea o si modifica una pipeline. In precedenza, l'impostazione dei criteri del cluster per una pipeline richiedeva la modifica delle impostazioni JSON della pipeline.

  • Avvio più rapido della pipeline. Questa versione include miglioramenti che accelerano il passaggio all'avvio SETTING_UP_TABLES di una pipeline.

Correzioni di bug in questa versione

  • Questa versione corregge un bug che impedisce la scalabilità automatica avanzata quando non sono disponibili istanze del cluster inattive.