Freigeben über

Delta Live Tables-Release 2022.37

  • Artikel

14. bis 22. September 2022

Diese Features und Verbesserungen wurden mit dem Release 2022.37 von Delta Live Tables veröffentlicht.

Von dieser Version verwendete Databricks Runtime-Versionen

Channel:

  • AKTUELL (Standard): Databricks Runtime 10.3.7
  • PREVIEW: Databricks Runtime 11.0.5

Neue Features und Verbesserungen in dieser Version

  • Die API-Anforderung für die Startaktualisierung gibt nun das request_id Feld im Antworttext zurück. request_id ist ein stabiler Bezeichner für die ursprüngliche Anforderung, die das Update startet. Wenn ein Update wiederholt oder neu gestartet wird, erbt das neue Update request_id.
{
  "update_id": "the ID of the update that was started",
  "request_id": "The ID of the request that started this update"
}

Die neue API-Anforderung requests (GET /pipelines/{pipeline_id}/requests/{request_id}) gibt den Status des Pipelineupdates zurück, das request_id zugeordnet ist. Die Antwort enthält Informationen zum neuesten Update.

{
   "status": "ACTIVE",
   "latest_update": {
   }
 }

  • Ihr Python-Code kann nun spark.sql-Vorgänge außerhalb von dlt.table()- oder dlt.view()-Funktionen aufrufen, solange der Vorgang nicht aus einer materialisierten Sicht oder Streamingtabelle liest.

  • Ereignisprotokolleinträge enthalten nun die maturity-Eigenschaft, um die Stabilität des Ereignisschemas anzugeben. Mögliche Werte sind stable, evolving und deprecated. Weitere Informationen zum Delta Live Tables-Ereignisprotokolls finden Sie unter Was ist das Delta Live Tables-Ereignisprotokoll?.

  • Die Fehlermeldung wurde verbessert, die angezeigt wird, wenn inkompatible Änderungen an Quelltabellen vorgenommen werden, die von einer Streamingtabelle verwendet werden.

  • Sie können jetzt eine Cluster-Richtlinie in der Benutzeroberfläche von Delta Live Tables auswählen, wenn Sie eine Pipeline erstellen oder bearbeiten. Bisher erforderte das Festlegen der Clusterrichtlinie für eine Pipeline das Bearbeiten der JSON-Einstellungen der Pipeline.

  • Schnellerer Pipelinestart. Dieses Release enthält Verbesserungen, die den Schritt SETTING_UP_TABLES beim Starten einer Pipeline beschleunigen.

Fehlerbehebungen in dieser Version

  • Diese Version behebt einen Fehler, der verhindert, dass die automatische Skalierung erhöht wird, wenn keine Leerlaufclusterinstanzen verfügbar sind.