Condividi tramite

Delta Live Tables versione 2022.37

  • Articolo

14 settembre - 22, 2022

Queste funzionalità e miglioramenti sono stati rilasciati con la versione 2022.37 di Delta Live Tables.

Versioni di Databricks Runtime usate da questa versione

Canale:

  • CURRENT (impostazione predefinita): Databricks Runtime 10.3.7
  • ANTEPRIMA: Databricks Runtime 11.0.5

Nuove funzionalità e miglioramenti in questa versione

  • La richiesta API di avvio dell'aggiornamento restituisce ora il request_id campo nel corpo della risposta. request_id è un identificatore stabile per la richiesta originale che avvia l'aggiornamento. Se un aggiornamento viene ritentato o riavviato, il nuovo aggiornamento eredita .request_id
{
  "update_id": "the ID of the update that was started",
  "request_id": "The ID of the request that started this update"
}

La nuova requests richiesta API (GET /pipelines/{pipeline_id}/requests/{request_id}) restituisce lo stato dell'aggiornamento della pipeline associato a request_id. La risposta include informazioni sull'aggiornamento più recente.

{
   "status": "ACTIVE",
   "latest_update": {
   }
 }

  • Il codice Python può ora chiamare spark.sql operazioni esterne a dlt.table() o dlt.view() funzioni, purché l'operazione non venga leta da una vista materializzata o da una tabella di streaming.

  • Le voci del registro eventi contengono ora la maturity proprietà per indicare la stabilità dello schema di eventi. I valori possibili sono stable, evolving e deprecated. Per altre informazioni sul registro eventi di Tabelle live Delta, vedere Che cos'è il registro eventi Delta Live Tables?.

  • Il messaggio di errore viene migliorato quando vengono apportate modifiche incompatibili alle tabelle di origine usate da una tabella di streaming.

  • È ora possibile selezionare un criterio del cluster nell'interfaccia utente di Tabelle Live Delta quando si crea o si modifica una pipeline. In precedenza, l'impostazione dei criteri del cluster per una pipeline richiedeva la modifica delle impostazioni JSON della pipeline.

  • Avvio più rapido della pipeline. Questa versione include miglioramenti che accelerano il passaggio all'avvio SETTING_UP_TABLES di una pipeline.

Correzioni di bug in questa versione

  • Questa versione corregge un bug che impedisce la scalabilità automatica avanzata quando non sono disponibili istanze del cluster inattive.