Dela via

DLT-version 2022.37

  • Artikel

14-22 september 2022

Dessa funktioner och förbättringar släpptes med 2022.37-versionen av DLT.

Databricks Runtime-versioner som används av den här versionen

Kanal:

  • CURRENT (standard): Databricks Runtime 10.3.7
  • FÖRHANDSVERSION: Databricks Runtime 11.0.5

Nya funktioner och förbättringar i den här versionen

  • API-begäran för startuppdatering returnerar nu fältet request_id i svarstexten. request_id är en stabil identifierare för den ursprungliga begäran som startar uppdateringen. Om en uppdatering görs om eller startas om ärver den nya uppdateringen request_id.
{
  "update_id": "the ID of the update that was started",
  "request_id": "The ID of the request that started this update"
}

Den nya requests API-begäran (GET /pipelines/{pipeline_id}/requests/{request_id}) returnerar statusen för pipelineuppdateringen som är associerad med request_id. Svaret innehåller information om den senaste uppdateringen.

{
  "status": "ACTIVE",
  "latest_update": {}
}
  • Python-koden kan nu anropa spark.sql åtgärder utanför dlt.table() eller dlt.view() funktioner, så länge åtgärden inte läses från en materialiserad vy eller en strömmande tabell.
  • Händelseloggposter innehåller nu egenskapen maturity för att indikera stabiliteten i händelseschemat. Möjliga värden är stable, evolvingoch deprecated. Mer information om DLT-händelseloggen finns i Vad är DLT-händelseloggen?.
  • Felmeddelandet förbättras när inkompatibla ändringar görs i källtabeller som används av en strömmande tabell.
  • Nu kan du välja en klusterprincip i DLT-användargränssnittet när du skapar eller redigerar en pipeline. Tidigare krävdes att du konfigurerade klusterprincipen för en pipeline för att redigera pipelinens JSON-inställningar.
  • Snabbare start av pipeline. Den här versionen innehåller förbättringar som påskyndar SETTING_UP_TABLES-steget när en pipeline startar.

Felkorrigeringar i den här versionen

  • Den här versionen åtgärdar ett fel som förhindrar att förbättrad automatisk skalning skalas upp när inga inaktiva klusterinstanser är tillgängliga.