Delta Live Tables 2022.49 版
2022 年 12 月 6 日至 9 日
這些功能和改進已於 2022.49 版的 Delta Live Tables發行。
此版本所使用的 Databricks Runtime 版本
通道:
- CURRENT (預設值):D atabricks Runtime 11.0.11
- 預覽:Databricks Runtime 11.3.2
此版本中的新功能和改進
您現在可以將檔案從 Databricks Git 資料夾匯入為 Python 模組。 您可以使用 從目前的存放庫路徑或指定的存放庫路徑
sys.path.append()
匯入檔案。增強型自動調整現已正式推出。 在此版本中,增強型自動調整是UI中建立之新管線的預設自動調整模式。 Databricks 建議更新使用現有叢集自動調整的管線,以使用增強的自動調整。
對於以連續模式執行的管線,當發生可重試的失敗時,預設重試次數 limit 現在為 2。 包括原始嘗試,所有流程在發生非嚴重失敗時,都會嘗試執行三次嘗試(指數輪詢)。 先前,預設值是批次流程的未系結重試,以及串流流程的五次重試。
組態參數
pipelines.maxFlowRetryAttempts
現在適用於所有流程的重試操作 limit,包括批次和串流流程,以及連續或觸發的管道。 先前,pipelines.maxFlowRetryAttempts
套用至觸發模式中的所有重試限制,但只有連續模式中的批次流程;連續模式的串流管線重試是由 所pipelines.numStreamRetryAttempts
控制。 對於現有的管線,pipelines.numStreamRetryAttempts
在連續模式中持續支援串流流程。 如果pipelines.numStreamRetryAttempts
和pipelines.maxFlowRetryAttempts
都是 set,則在連續模式下,pipelines.numStreamRetryAttempts
對串流流程具有優先權。 否則,會使用的pipelines.maxFlowRetryAttempts
已設定值。 請參閱 Delta Live Tables 屬性參考。
此版本中的錯誤修復
此版本修正了錯誤,導致針對已啟用 Photon 的叢集顯示每小時不正確的 DBU 計算。
此版本修正了導致 Unity Catalog 已啟用工作區的 Delta Live Tables 維護工作失敗的錯誤。
此版本修正了錯誤 where,它導致使用自動載入器擷取數據的連續管線在停止或重新啟動時掛起數分鐘。