共用方式為


接下來會有什麼?

了解即將推出的 Azure Databricks 版本中的功能和行為變更。

查詢設定檔使用者介面的改善

查詢配置檔 UI 正在更新,以改善可用性,並提供更快速的主要見解存取。

  • 摘要面板 將包含關鍵計量、最小化的查詢配置檔預覽,以及查詢配置檔頁面主要區段的快速連結。
  • 新的 最高資源密集度操作員 面板將會提供篩選選項和圖表檢視功能,以突出顯示最耗費資源的操作員。
  • 更新的版面配置旨在改善從摘要計量到詳細深入解析的可讀性和流覽。
  • 其他改進包括關鍵詞型節點醒目提示、增強的執行清單,以及查詢效能分析工作流程的精簡。

自動載入器增量目錄清單選項的行為變更

備註

自動載入器 cloudFiles.useIncrementalListing 選項已不建議使用。 雖然此附註討論選項預設值的變更,以及如何在此變更之後繼續使用,但 Databricks 建議使用 檔案通知模式取代此選項的使用方式,

在即將推出的 Databricks Runtime 版本中,已淘汰的自動載入器 cloudFiles.useIncrementalListing 選項的值預設會設定為 false。 將此值設定為 false 會導致每次執行時自動載入器執行完整目錄清單。 目前,cloudFiles.useIncrementalListing 選項的預設值是 auto,指示自動載入器盡最大努力偵測是否可以搭配目錄使用累加清單。

若要繼續使用累加式清單功能,請將 [cloudFiles.useIncrementalListing] 選項設定為 auto。 當您將此值設定為 auto時,自動載入器會盡最大努力嘗試每七個累加清單執行一次完整清單,這符合這個變更之前此選項的行為。

若要深入瞭解自動載入器目錄清單選項,請參閱 自動載入器選項

默認情況下啟用的統計管理,配備預測性優化功能

從 1 月 21 日開始,Databricks 會開始對所有已啟用預測優化功能的帳戶啟用統計數據管理。 統計數據管理藉由在寫入和自動執行 Unity 目錄受控數據表的 ANALYZE 命令上新增統計數據集合,以擴充現有的預測優化功能。 如需預測優化的詳細資訊,請參閱 Unity 目錄受控數據表的預測性優化

無伺服器計算將獲得 Scala SDK 支援以支持服務認證

無伺服器計算的更新將支援使用服務憑證透過 Unity Catalog 管理的驗證來連接外部雲端服務,搭配 Scala SDK 使用。 Databricks Runtime 16.2 和更新版本中提供的 Scala 服務主體驗證支援,是對 Python SDK 中現有服務憑證驗證支援的進一步強化。 請參閱 使用服務認證管理外部雲端服務的存取

從 DLT 管線移除資料集定義時的行為變更

即將發行的 DLT 將會在具體化檢視或串流數據表從管線中移除時變更行為。 透過這項變更,下一次管線更新執行時,將不會自動刪除已移除的具象檢視或串流資料表。 相反地,您將能夠使用 DROP MATERIALIZED VIEW 命令來刪除具體化檢視或 DROP TABLE 命令來刪除串流數據表。 卸除對象之後,執行管線更新將不會自動復原物件。 如果具有相同定義的具體化檢視或串流數據表重新加入至管線,則會建立新的物件。 不過,您可以使用 UNDROP 命令來復原物件。

2025 年 2 月 1 日,所有 Azure Databricks 工作區都會啟用工作區檔案

Databricks 將於 2025 年 2 月 1 日為 所有 Azure Databricks 工作區啟用工作區檔案。 這項變更會解除封鎖工作區使用者使用新的工作區檔案功能。 在 2025 年 2 月 1 日之後,您無法使用 enableWorkspaceFilesystem 屬性搭配 Azure Databricks REST API 停用工作區檔案,啟用和停用工作區功能。 如需工作區檔案的詳細資訊,請參閱 什麼是工作區檔案?

數據表在預設情況下會與歷程記錄於 Delta Sharing 中共享

Databricks 計劃變更使用 Delta Sharing 共用之數據表的預設設定,以預設包含歷程記錄。 先前,歷史共用功能預設為停用。 共用數據表歷程記錄可改善讀取效能,並自動支援進階的 Delta 優化。

降低工作流程負載的無伺服器計算成本,並對成本效能進行更佳控制。

除了目前支持的自動效能優化之外,工作流程優化功能的無伺服器計算增強功能可讓您更充分掌控工作負載是否已針對效能或成本進行優化。 若要深入瞭解,請參閱 筆記本、作業和管線的無伺服器計算節省成本。

舊版儀表板版本支持的變動

Databricks 建議使用 AI/BI 儀表板 (先前稱為 Lakeview 儀表板)。 舊版儀錶板,先前稱為 Databricks SQL 儀錶板,現在稱為 舊版儀錶板。 Databricks 不建議建立新的舊版儀表板。 相較於舊版,AI/BI 儀錶板提供改良的功能,包括 AI 輔助撰寫、草稿和發布模式,以及交叉篩選。

舊版儀錶板的支持時程表結束

  • 2025 年 4 月 7 日:舊版儀錶板的官方支援將會結束。 只會解決重要的安全性問題和服務中斷問題。
  • 2025 年 11 月 3 日:Databricks 將開始封存過去六個月未存取的舊版儀錶板。 已存檔的儀錶板將無法再存取,存檔過程將會以滾動方式進行。 正在使用中的儀錶板的存取權會保持不變。

Databricks 將與客戶合作,在 2025 年 11 月 3 日之後開發正在使用的舊版儀錶板的遷移計劃。

為了協助轉換至 AI/BI 儀錶板,可以在使用者介面和 API 中使用升級工具。 如需如何在 UI 中使用內建移轉工具的指示,請參閱 將舊版儀錶板複製到 AI/BI 儀錶板。 如需使用 Azure Databricks API 來建立及管理儀錶板的教學課程,請參閱 使用 Azure Databricks API 來管理儀錶板

對無伺服器計算工作負載屬性的變更

目前,您的 可計費使用量系統表 可能包含有 run_asjob_idjob_run_idnotebook_id 的空值的無伺服器 SKU 記帳記錄。 這些記錄代表與未直接歸屬於任何特定工作負載的共用資源相關聯的成本。

為了協助簡化成本報告,Databricks 很快就會將這些共用成本歸屬於產生成本的特定工作負載。 您將不會再看到工作負載標識符欄位中具有 Null 值的計費記錄。 當您增加無伺服器計算的使用量並新增更多工作負載時,帳單上這些共用成本的比例將會隨著在更多工作負載中的共用而減少。

如需監視無伺服器計算成本的詳細資訊,請參閱監視無伺服器計算的成本

稽核記錄中的 sourceIpAddress 欄位將不再包含連接埠號碼

由於錯誤,某些授權和驗證稽核記錄除了 sourceIPAddress 欄位中的 IP (例如 "sourceIPAddress":"10.2.91.100:0") 之外,還包含連接埠號碼。 記錄為 0 的連接埠號碼不會提供任何實際值,且與 Databricks 稽核記錄的其餘部分不一致。 為了增強稽核記錄的一致性,Databricks 計劃變更這些稽核記錄事件的 IP 位址格式。 這項變更將從 2024 年 8 月初逐步推出。

如果稽核記錄包含 sourceIpAddress0.0.0.0,則 Databricks 可能會停止記錄該項目。

將不支援 JDK8 和 JDK11

當 Spark 4.0 發行時,Azure Databricks 計劃移除下一個主要 Databricks Runtime 版本的 JDK 8 支援。 Azure Databricks 計劃移除下一個 LTS 版 Databricks Runtime 14.x 的 JDK 11 支援。

自動為新工作區啟用 Unity 目錄

Databricks 已開始為新的工作區自動啟用 Unity 目錄。 這樣就不需要帳戶管理員在建立工作區之後設定 Unity 目錄。 正逐步跨帳戶進行推出。

sqlite-jdbc 升級

Databricks Runtime 規劃在所有 Databricks Runtime 維護版本中,將 sqlite-jdbc 版本從 3.8.11.2 升級至 3.42.0.0。 3.42.0.0 版的 API 與 3.8.11.2 不完全相容。 請確認您的方法和傳回型別使用版本 3.42.0.0。

如果您在程式碼中是使用 sqlite-jdbc,請檢查 sqlite-jdbc 相容性報告