Delta Live Tables 發佈 2022.37 版

2022 年 9 月 14 日至 22 日

這些功能和改進已於 2022.37 版的 Delta Live Tables推出。

此版本所使用的 Databricks Runtime 版本

通道：

• CURRENT （預設值）:D atabricks Runtime 10.3.7
• 預覽：Databricks Runtime 11.0.5

此版本中的新功能和改進

• 開始 update API 請求現在會傳回回應正文中的 request_id 字段。 request_id 是針對原始要求的穩定 identifier，從而啟動 update。 如果重試或重新啟動 update，新的 update 會繼承 request_id。

{
  "update_id": "the ID of the update that was started",
  "request_id": "The ID of the request that started this update"
}

新的 requests API 要求 （GET /pipelines/{pipeline_id}/requests/{request_id}） 會傳回與 request_id相關聯的管線 update 狀態。 回應包含最新 update的相關資訊。

{
   "status": "ACTIVE",
   "latest_update": {
   }
 }

• 只要這項操作不是從具體化檢視或串流 table讀取，Python 程式碼現在可以在 dlt.table() 或 dlt.view() 函式之外呼叫 spark.sql 作業。

• 事件記錄檔項目現在包含 maturity 屬性，表示事件 schema的穩定性。 可能的 values 為 stable、evolving和 deprecated。 如需 Delta Live Tables 事件記錄檔的詳細資訊，請參閱 什麼是 Delta Live Tables 事件記錄檔？。

• 當串流 table所使用的來源 tables 發生不相容變更時，錯誤訊息會改善。

• 您現在可以在建立或編輯管線時，在 Delta Live Tables UI 中 select 叢集原則。 先前，設定管線的叢集原則需要編輯管線的 JSON 設定。

• 更快速的管線啟動。 此版本包含加速 SETTING_UP_TABLES 啟動管線時步驟的增強功能。

此版本中的錯誤修正

• 此版本修正了當沒有閑置叢集實例可用時，增強型自動調整無法相應增加的錯誤。