2023 年 8 月
這些功能和 Azure Databricks 平台改進於 2023 年 8 月發行。
注意
分階段發行。 您的 Azure Databricks 工作區可能要到初始發行日期後一週或以上才會更新。
Tables 現在會出現在導覽搜尋中
2021 年 8 月 13 日
Tables 在 Unity 中註冊 Catalog 現在會出現在頂端列中的導覽搜尋中。 請參閱搜尋工作區物件。
Databricks CLI 已更新至 0.203.3 版 (公開預覽)
2023 年 8 月 30 日
Databricks 命令列介面 (Databricks CLI) 已更新至 0.203.3 版。 如需詳細資訊,請參閱 0.203.3 版本的變更記錄。
Databricks JDBC 驅動程式 2.6.34
2023 年 8 月 30 日
我們已發行 Databricks JDBC 驅動程式 2.6.34 版 (下載)。 此版本藉由升級協力廠商連結庫來解決許多弱點問題。 此外,此版本還修正了下列問題:
- 當查詢無法連線到伺服器時,執行緒外洩。
- 遺漏 table 元數據
REMARKS
column 中的批注。 - 當結果集關閉作業傳回錯誤時,連接器不會從活動訊號執行緒清除操作控制代碼項目。
此版本也會藉由接受 SQLState
伺服器的錯誤碼來改善錯誤訊息處理,並正確檢查伺服器通訊協定版本。
適用於 Go 的 Databricks SDK 已更新至 0.18.0 版 (搶鮮版 (Beta))
2023 年 8 月 29 日
適用於 Go 的 Databricks SDK 0.18.0 版引進了 17 個重大 API 變更、新增 30 個 API,並新增十幾個欄位。 如需詳細資訊,請參閱 0.18.0 版本的變更記錄。
適用於 Python 的 Databricks SDK 已更新至 0.7.0 版 (搶鮮版 (Beta))
2023 年 8 月 29 日
適用於 Python 的 Databricks SDK 0.7.0 版引進檔案 API 的重大變更,以及 17 項額外的中斷性變更。 此版本也會新增 14 個欄位,並新增 27 個資料類別。 如需詳細資訊,請參閱 0.7.0 版本的變更記錄。
Databricks Terraform 提供者已更新至 1.24.1 版
2023 年 8 月 29 日
Databricks Terraform 提供者 1.24.1 版包含驗證工作區可連線性的修正程式。 如需詳細資訊,請參閱 1.24.1 版本的變更記錄。
DBFS 終止生命週期的 Init 指令延長至 2023 年 12 月 1 日
2023 年 8 月 29 日
Databricks 此前宣佈,DBFS 上的 init 指令碼將於 2023 年 9 月 1 日結束。 生命周期結束日期已延長至 2023 年 12 月 1 日。
Databricks Runtime 14.0 (搶鮮版 (Beta))
2023 年 8 月 29 日
Databricks Runtime 14.0 和 Databricks Runtime 14.0 ML 現在可作為搶鮮版 (Beta) 使用。
請參閱 Databricks Runtime 14.0 (EoS) 和適用於機器學習的 Databricks Runtime 14.0 (EoS)。
統一瀏覽體驗已正式發行
2023 年 8 月 28 日
統一的 Azure Databricks 瀏覽體驗現已正式發行。 使用者無法再還原為舊版瀏覽體驗。 如需詳細資訊,請參閱瀏覽工作區。
Databricks Terraform 提供者已更新至 1.24.0 版
2023 年 8 月 25 日
Databricks Terraform 提供者 1.24.0 版會新增 Unity Catalog 物件的帳戶層級 API 支援、將 acl_principal_id
新增至數個數據源等等。 如需詳細資訊,請參閱 1.24.0 版本的變更記錄。
已從工作區管理員設定頁面移除適用於 Genomics 的 Databricks Runtime 設定
2023 年 8 月 25 日
工作區系統管理員無法再從工作區系統管理員設定頁面或工作區設定 API 啟用或停用適用於 Genomics 的 Databricks Runtime。 Databricks Genomics 執行階段已取代,且已於 2022 年 9 月 24 日移除適用於 Genomics 的 Databricks Runtime 的支援。
Databricks 基因體學執行階段已取代。 如需開放原始碼對等專案,請參閱 genomics-pipelines 和 Glow 的存放庫。
如需 Databricks Runtime 取代原則和排程的詳細資訊,請參閱支援的 Databricks Runtime LTS 版本。
已從工作區管理員設定頁面移除容器服務設定
2023 年 8 月 25 日
工作區系統管理員無法再從工作區管理員設定頁面啟用或停用容器服務。 容器服務可讓您在叢集上使用客戶容器。 預設會在所有新的工作區上啟用它。 容器服務仍然可以使用工作區設定 API 來啟用或停用。 如需詳細資訊,請參閱啟用容器服務。
Databricks CLI 已更新至 0.203.2 版 (公開預覽)
2023 年 8 月 24 日
Databricks 命令列介面 (Databricks CLI) 已更新至 0.203.2 版。 如需詳細資訊,請參閱 0.203.2 版本的變更記錄。
移至 Python 筆記本中函式和變數的定義
2023 年 8 月 24 日
在 Databricks Runtime 12.2 LTS 和更新版本中,當 Python 筆記本附加至叢集時,您可以自動瀏覽至該筆記本中定義的變數或函式定義。 如需詳細資訊,請參閱移至定義。
Databricks Runtime 13.3 LTS 已正式發行
2023 年 8 月 22 日
Databricks Runtime 13.3 LTS 和 Databricks Runtime 13.3 LTS ML 現已正式發行。
請參閲 Databricks Runtime 13.3 LTS 和 Databricks Runtime 13.3 LTS for Machine Learning。
使用 Unity Catalog 的標籤簡介
2023 年 8 月 22 日
您現在可以將標籤套用至 Unity Catalog的可保護物件。 標籤可協助您組織安全性物件,並簡化資料資產的搜尋和探索。 請參閱 將標籤套用至 Unity Catalog 安全性實體物件。
在 Unity Catalog 共用叢集上的初始化腳本、JAR 和 Maven 座標的允許列表目前處於公開預覽中。
2023 年 8 月 23 日
您現在可以使用 Unity Catalogallowlist
,在執行 Databricks Runtime 13.3 和更新版本的共用存取模式下,控制計算上的 init 腳本、JAR 和 Maven 座標的安裝。 請參閱共用計算上的 Allowlist 程式庫和 init 指令碼。
Volumes 對於 init 腳本和 JAR 的支援目前正處於公開預覽階段
2023 年 8 月 23 日
您現在可以使用 Unity Catalogvolumes,透過執行 Databricks Runtime 13.3 和更新版本的已指派或共用存取模式,將 init 腳本和 JAR 儲存在計算上。 請參閱叢集範圍的連結庫和從磁碟區安裝連結庫。
Databricks Repos .ipynb 檔案輸出提交更容易
2023 年 8 月 21 日
Databricks Repos 已新增功能,讓 .ipynb 檔案輸出認可更容易控制並查看:
- Repos 可以為您建立 commit_output 設定檔。
- UI 中的通知可讓您知道輸出提交的狀態。
- 從檔案功能表中,您可以控制是否提交 noteook 輸出。
Databricks Repos 的 IPYNB 筆記本支援已正式發行
2023 年 8 月 21 日
Databricks Repos 的 IPYNB 筆記本檔案支援已正式發行。 如需 Repos 的詳細資訊,請參閱:
適用於 Go 的 Databricks SDK 已更新至 0.17.0 版 (搶鮮版 (Beta))
2023 年 8 月 18 日
適用於 Go 的 Databricks SDK 0.17.0 版會新增超過 30 個 API,並重新命名大約 10 個 API。 如需詳細資訊,請參閱 0.17.0 版本的變更記錄。
適用於 Python 的 Databricks SDK 已更新至 0.6.0 版 (搶鮮版 (Beta))
2023 年 8 月 18 日
適用於 Python 的 Databricks SDK 0.6.0 版會新增大約 20 個資料類別、新增約 10 個 API,並包含大約 20 個重新命名。 如需詳細資訊,請參閱 0.6.0 版本的變更記錄。
Databricks CLI 已更新至 0.203.1 版 (公開預覽)
2023 年 8 月 16 日
Databricks 命令列介面 (Databricks CLI) 已更新至 0.203.1 版。 如需詳細資訊,請參閱 0.203.1 版本的變更記錄。
整合 schema 瀏覽器現已正式運作
2023 年 8 月 16 日
瀏覽數據的統一方式現在可供筆記本、SQL 編輯器和 Catalog 瀏覽器使用,包括下列新功能:
- 樹狀結構的壓縮版本。
- 篩選時,Unity Catalog 物件計數在 schema 層級顯示。
- 在功能表上按右鍵可檢視動作。
如果你用指令或範本編碼 ID,可能會受無伺服器子網路變更影響
2023 年 8 月 15 日
如果您使用 Azure 儲存體防火牆,直到 8 月底,某些子網路 ID 會變更。 這不會影響大部分的客戶,因為 Azure 會自動移轉現有儲存體防火牆規則中的子網路 ID。 此移轉不會影響現有的工作負載。
如果您在更新 Azure 記憶體防火牆規則的範本或腳本中編碼無伺服器子網的 list,您必須先 get 最新的子網標識碼 list,才能嘗試 update 規則。 如需每個區域的最新 ID,請參閱 Azure Databricks 區域。
適用於 Go 的 Databricks SDK 已更新至 0.16.0 版 (搶鮮版 (Beta))
2023 年 8 月 14 日
適用於 Go 的 Databricks SDK 0.16.0 版會新增大約十幾個欄位、移除大約六個欄位,並變更大約六十個 API 的簽名。 如需詳細資訊,請參閱 0.16.0 版本的變更記錄。
Partner Connect 支援 Census
2023 年 8 月 14 日
您現在可以使用 Partner Connect 將 Azure Databricks 工作區連線至 Census。 如需詳細資訊,請參閱連線至 Census。
Azure Key Vault 受控 HSM 金鑰現已支援客戶自控金鑰
2023 年 8 月 14 日
某些 Azure Databricks 服務和資料支援會新增客戶自控金鑰,以協助保護及控制加密資料的存取。 Azure Databricks 有三個客戶自控金鑰功能,適用於不同類型的資料與位置。 這三項功能現在都支援來自Azure Key Vault 受控 HSM (硬體安全模組) 的客戶自控金鑰,以及Azure Key Vault 保存庫。 請參閱適用於加密的客戶自控金鑰。
適用於 Python 的 Databricks SDK 已更新至 0.5.0 版 (搶鮮版 (Beta))
2023 年 8 月 11 日
適用於 Python 的 Databricks SDK 0.5.0 版會變更六個 API 的簽章、新增十二個欄位、移除六個欄位,並新增一些資料類別。 如需詳細資訊,請參閱 0.5.0 版本的變更記錄。
對工作區檔案的程式設計寫入支援
2023 年 8 月 11 日
使用 Databricks Runtime 11.2 和更新版本之叢集支援寫入工作區檔案。 您可以透過程式設計方式建立、update,以及刪除工作區內的檔案和目錄。
Databricks CLI 已更新至 0.203.0 版 (公開預覽)
2023 年 8 月 10 日
Databricks 命令列介面 (Databricks CLI) 0.203.0 版可auth login
改善命令等等。 如需詳細資訊,請參閱 0.203.0 版本的變更記錄。
Databricks Terraform 提供者已更新至 1.23.0 版
2023 年 8 月 9 日
Databricks Terraform 提供者 1.23.0 版擴充了 RunJobTask
,增加了 databricks_job
的支援欄位,並新增 databricks_model_serving
的匯出程式支援等。 如需詳細資訊,請參閱 1.23.0 版本的變更記錄。
現在可以重新命名群組
2023 年 8 月 8 日
您現在可以重新命名現有的帳戶群組和工作區本機群組。 請參閱變更群組名稱。
適用於 Go 的 Databricks SDK 已更新至 0.15.0 版 (搶鮮版 (Beta))
2023 年 8 月 7 日
適用於 Go 的 Databricks SDK 0.15.0 版參考權限相關 API,使其更容易理解且更容易使用。 如需詳細資訊,請參閱 0.15.0 版本的變更記錄。
適用於 Python 的 Databricks SDK 已更新至 0.4.0 版 (搶鮮版 (Beta))
2023 年 8 月 7 日
適用於 Python 的 Databricks SDK 0.4.0 版參考權限相關 API,使其更容易理解且更容易使用。 如需詳細資訊,請參閱 0.4.0 版本的變更記錄。
已移除協力廠商 iFraming 預防組態設定
2023 年 8 月 7 日
Azure Databricks 藉由新增適當的 HTTP 標頭,藉以降低 iFraming Azure Databricks 的協力廠商網域風險。 預設仍啟用協力廠商 iFraming 預防功能,但 Azure Databricks 移除了工作區管理設定以停用此功能。 如果您先前已停用工作區的協力廠商 iFraming,該工作區的功能會繼續停用。 若要重新啟用協力廠商 iFraming,請連絡您的 Azure Databricks 帳戶小組。
適用於 Visual Studio Code 的 Databricks 延伸項目已更新至 1.1.1 版
2023 年 8 月 4 日
Visual Studio Code 1.1.1 版的 Databricks 延伸項目提供數個次要修正程式,例如正確處理 HOME
Windows 上的環境變數等等。 如需詳細資訊,請參閱 1.1.1 版本的變更記錄。
LangChain 現已推出 13.1 和更新版本
2023 年 8 月 4 日
LangChain 可用作實驗性 MLflow 變體,讓 LangChain 客戶可以直接從 Azure Databricks 環境利用 MLflow 的強固工具和實驗追蹤功能。
LangChain 是一種軟體架構,旨在協助建立利用大型語言模型 (LLM) 的應用程式,並將其與外部資料結合,為 LLM 帶來更多的訓練內容。
適用於機器學習的 Databricks Runtime 包含 langchain
Databricks Runtime 13.1 ML 和更新版本。
Unity 中的特性工程 Catalog 為公開預覽
2023 年 8 月 3 日
在 Unity
已改善重複連續工作失敗的錯誤處理
2023 年 8 月 3 日
連續作業超過連續失敗的閾值,現在會使用指數輪詢結構有效率地重試作業執行,並允許作業從暫時性問題復原。 先前,已暫停超過失敗閾值的連續作業,而不會重試。
更多區域現已推出無伺服器 SQL 倉儲
2023 年 8 月 3 日
其他區域中提供的無伺服器 SQL 倉儲:澳洲東部、加拿大中部、美國西部 2、美國中南部和東南亞。 請參閱 Azure Databricks 區域。
如果您打算使用 Azure 儲存體 防火牆,請設定防火牆以允許從無伺服器 SQL 倉儲子網路存取。 請參閱 Azure Databricks 區域。
使用 Delta Sharing 共用結構描述 (公開預覽)
2023 年 8 月 2 日
您現在可以使用 Delta Sharing 來共用整個 schema,讓收件者能夠存取您共用 schema 中的所有 tables 和 views,以及未來新增至 schema 的任何 tables 和 views。 使用 SQL 命令將結構描述新增至共用需要 SQL 倉儲或執行 Databricks Runtime 13.2 或更新版本之叢集。 使用 Catalog Explorer 執行相同的作業時,沒有計算需求。 請參閱 將結構描述新增至共用。
在 Azure Databricks 工作有條件執行任務
2023 年 8 月 2 日
您可以使用新的 Run if
條件,根據工作相依性的狀態執行作業工作,在實作具有 Azure Databricks 作業的工作流程時提供更多彈性。 例如,當部分或所有任務相依性失敗時,您可以使用 Run if
條件來執行工作。 請參閱設定任務相依性。
Databricks Terraform 提供者已更新至 1.22.0 版
2023 年 8 月 1 日
Databricks Terraform 提供者 1.22.0 版會新增 databricks_access_control_rule_set
資源、新增 databricks_metastore
和 databricks_metastore
資料來源等等。 如需詳細資訊,請參閱 1.22.0 版本的變更記錄。
增強的安全性與合規性功能
2023 年 8 月 1 日
您可以啟用合規性安全性設定檔,在工作區上提供額外的監視、強化的計算映像和其他功能。 合規性安全性設定檔必須使用 Azure Databricks 來處理受 PCI-DSS 管制的資料,但如果您未處理這類資料,您可以選擇啟用設定檔。 您應承擔全部責任,確保您自己遵守所有適用法令規定。
或者,您可以個別啟用增強的安全性監視,以提供額外的監視和強化的計算映像。
這兩項功能都是新附加元件增強的安全性與合規性的一部分。 如果您在工作區上啟用其中一項功能,您將需要支付新的附加元件費用,如定價頁面上所述。 這兩項功能需要進階定價層。
Lakehouse Monitoring 為公開預覽
2023 年 8 月 1 日
Databricks Lakehouse Monitoring 會將資料和模型品質監視整合到 Databricks 平台。 它提供現成的品質計量,例如摘要統計資料、隨時間分佈的變化,以及模型效能,包括公平性和偏差。 Lakehouse 監視會自動產生摘要儀錶板,以協助您在一段時間內將資料品質視覺化。 您也可以根據數據設定 set 警示。
Databricks Runtime 13.3 LTS (搶鮮版 (Beta))
2023 年 8 月 1 日
Databricks Runtime 13.3 LTS 和 Databricks Runtime 13.3 LTS ML 現在可作為 搶鮮版 (Beta) 版本使用。
請參閲 Databricks Runtime 13.3 LTS 和 Databricks Runtime 13.3 LTS for Machine Learning。
新的 Git 作業已正式發行:合併分支、重訂基底和提取進行衝突解決
2023 年 8 月 1 日
Databricks Repos 現已正式發行下列 Git 作業:
- 合併和重訂基底:您現在可以直接在 Azure Databricks 中將兩個分支 Git 合併或重訂基底。 這可簡化合併分支的流程,並提供解決作業期間發生的衝突的能力。
- 使用衝突解決方式提取:您現在可以使用 Databricks Repos 來管理和解決使用 Azure Databricks 從遠端 Git 存放庫提取時所發生的衝突。
有了這些功能強大的新衝突解決工具,使用 Databricks Repos 進行程式碼共同作業會變得更簡化且更有效率。