2023 年 10 月
這些功能和 Azure Databricks 平台改善功能於 2023 年 10 月發行。
注意
分階段發行。 您的 Azure Databricks 工作區可能要到初始發行日期後一週或以上才會更新。
Databricks SQL Serverless 的無伺服器安全連線 (公開預覽)
2023 年 10 月 31 日
新的無伺服器安全連線工具可協助您控制從無伺服器 SQL 倉儲到 Azure 儲存體中的資料來源的網路存取。 您可以選擇使用子網路識別碼的儲存體防火牆,或透過 Azure Private Link 啟用私人連線。 若要加入 公開預覽,請連絡您的 Azure Databricks 帳戶小組。 請參閱無伺服器計算平面網路。
如果您有使用 2023 年 10 月 31 日之前 Azure Databricks 檔中所列的子網標識符所設定的記憶體防火牆,Databricks 建議您使用其中一個新工具更新每個工作區區域的防火牆設定。 這樣有助於您在所有工作區中套用一致的部署。 如果您選擇不更新現有的組態,工作區將會繼續運作。
檢視 Azure Databricks 工作的 YAML 來源
2023 年 10 月 30 日
您現在可以按一下工作詳細資料頁面上的 ,然後選取 [檢視 YAML/JSON],以檢視並複製工作的 YAML 來源。 您可以使用 YAML 來源來建立 CI/CD 工作流程與 Databricks 資產套件組合。 請參閱什麼是 Databricks 資產套件組合?。
將條件式邏輯新增至 Azure Databricks 工作流程
2023 年 10 月 30 日
您現在可以使用 If/else condition
工作,根據布林運算式的結果在 Azure Databricks 作業中有條件地執行工作。 請參閱在具有 If/else 條件工作的作業中新增分支邏輯。
在可供作業中的所有工作參考的 Azure Databricks 作業中設定參數
2023 年 10 月 30 日
您現在可以將參數新增至 Azure Databricks 作業中,這些參數會自動傳遞至所有接受鍵值對的任務。 請參閱 設定工作參數。 此外,您現在可以使用擴充的值參考集,在作業工作之間傳遞內容和狀態。 請參閱什麼是動態值參考?。
自動啟用刪除向量
2023 年 10 月 30 日
您現在可以在 Databricks Runtime 14.0 和更新版本的所有新 Delta 資料表上啟用刪除向量,並使用工作區管理員設定 自動啟用刪除向量。 此行為目前可加入,但未來會變更為退出。 Databricks 建議手動設定此設定的選項。 請參閱自動啟用刪除向量。
UNDROP TABLE
的 Unity 目錄支援為 GA
2023 年 10 月 25 日
您可以在刪除後的七天內,將現有架構中已刪除的管理或外部資料表復原。 需要使用 Databricks Runtime 12.1 和更新版本。 請參閱 UNDROP TABLE 與 SHOW TABLES DROPPED。
Partner Connect 支援 Dataiku
2023 年 10 月 25 日
您現在可以使用 Partner Connect 將 Azure Databricks 工作區連線至 Dataiku。 請參閱連線至 Dataiku。
AutoML 產生的筆記本現在會儲存為 MLflow 成品
2023 年 10 月 24 日
AutoML 產生的筆記本現在會儲存為所有 Databricks Runtime 中 機器學習 版本的 MLflow 成品。
新區域:卡達中部
2023 年 10 月 23 日
Azure Databricks 現已在卡達中部推出。 請參閱 Azure Databricks 區域。
Azure 防火牆和私人連結支援的 Unity 目錄磁碟區
2023 年 10 月 23 日
現在,您可以將 Unity Catalog 磁碟區與已使用 Azure 防火牆或 Private Link 設定的 Azure 儲存帳戶搭配使用。 這會取消先前的限制。
預測性最佳化 (公開預覽)
2023 年 10 月 24 日
預測優化不需要手動管理 Delta 數據表的維護作業。 維護作業只會視需要執行,消除了不必要執行維護作業的情況,並且消除了執行追蹤和疑難排解工作所產生的負擔。 請參閱
運算系統表格現已推出(公開預覽版)
2023 年 10 月 23 日
system.compute
架構包含兩個新的資料表,可用來監視帳戶中的計算資源:clusters
和 node_types
。
叢集數據表是一個緩時變維度數據表,其中包含所有用途和作業叢集的叢集組態完整歷程記錄。 節點類型數據表會擷取目前可用的節點類型及其基本硬體資訊。 如果您沒有這些系統資料表的存取權,請確定您已在帳戶中啟用計算架構(請參閱 啟用系統數據表架構)。
如需計算系統資料表的詳細資訊,請參閱 計算系統資料表參考。
隨選特徵計算已正式發行
2023 年 10 月 19 日
現在可以在推斷時間按需計算機器學習特徵。 這可讓模型使用只能在推斷時間使用的輸入來計算特徵,例如使用者的目前位置,或使用成本禁止的功能來預先計算、儲存和重新整理。 模型定型程式碼可以定義在模型定型和推斷期間執行的任意特徵查閱和計算圖表。
功能計算邏輯、模型和數據全都受 Unity 目錄控管。 如需詳細資訊,請參閱使用 Python 使用者定義功能隨選計算功能。
Unity 目錄中的功能工程是 GA
2023 年 10 月 19 日
在 Unity Catalog 中進行 特徵工程,Unity Catalog 會成為您的特徵存放區。 您可以使用任何 Delta 資料表搭配主鍵作為模型定型或推斷的功能數據表。 Unity 目錄提供功能探索和控管。
AI 產生的數據表批註 (公開預覽)
2023 年 10 月 18 日
Azure Databricks 正在推動一項使用 AI 協助您在 Azure Databricks 上工作的計畫,其中推出 AI 自動生成的資料表及欄位註解,目前已進入公開預覽階段。 在目錄總管中,您可以檢視、編輯及新增由 Unity 目錄所管理之任何資料表或資料表資料行的 AI 產生的批注。 AI 產生的註解可能會使用外部模型合作夥伴來提供回應。 傳送至這些服務的資料不會用於模型定型。
請參閱 將 AI 產生的批註新增至 Unity Catalog 物件。
Unity 目錄中的模型是 GA
2023 年 10 月 17 日
Unity 目錄中的 ML 模型現已正式推出。 Unity 目錄提供集中式訪問控制、稽核、譜系、跨工作區共用模型,以及更好的 MLOps 部署工作流程。 Azure Databricks 建議在 Unity 目錄中使用模型,而不是工作區模型登錄。 如需詳細資訊,請參閱在 Unity 目錄 中
計算原則現在支援程式庫 (公開預覽)
2023 年 10 月 17 日
工作區管理員現在可以在計算原則中新增程式庫。 使用原則的計算會自動安裝程式庫。 使用者無法在使用原則的計算上安裝或解除安裝計算範圍的程式庫。 先前安裝的程式庫將會解除安裝。
Databricks 建議移轉與 init 指令一起安裝的所有程式庫,以使用計算原則。 請參閱在原則中新增程式庫。
Partner Connect 支援 Monte Carlo
2023 年 10 月 16 日
您現在可以使用 Partner Connect 將 Azure Databricks 工作區連線至 Monte Carlo。 如需詳細資訊,請參閱將 Azure Databricks 連線至 Monte Carlo。
語意搜尋 (公開預覽)
2023 年 10 月 16 日
您現在可以使用自然語言,在進階 搜尋 對話框中搜尋 Unity 目錄數據表。 請參閱語意搜尋。
在工作區層級啟用 Databricks Assistant
2023 年 10 月 11 日
如果帳戶管理員允許,工作區管理員現在可以為個別工作區啟用或停用 Databricks Assistant。 如需詳細資訊,請參閱如何啟用 Databricks Assistant?。
新增 Photon 預設
2023 年 10 月 11 日
透過 UI 建立新的叢集時,根據預設,Databricks Runtime 引擎已啟用 Photon。 這適用於所有用途和作業叢集。
使用與 Photon 相容的叢集原則建立的新叢集預設已啟用 Photon。 如果 Databricks Runtime 支援叢集原則,則叢集原則與 Photon 相容、支援節點類型,且 runtime_engine
未明確設定為 STANDARD
。
Databricks Runtime 14.1 已正式發行
2023 年 10 月 11 日
Databricks Runtime 14.1 和 Databricks Runtime 14.1 ML 現已正式發行。
請參閲 Databricks Runtime 14.1 和適用於機器學習的 Databricks Runtime 14.1。
開發人員工具版本資訊已移動
2023 年 10 月 10 日
2023 年 10 月 10 日之後,Azure Databricks 開發人員工具版本資訊現在會發佈在 Azure Databricks 開發人員工具和 SDK 版本資訊中,而不是 Azure Databricks 平台版本資訊中。
適用於 Visual Studio Code 的 Databricks 延伸項目已更新至 1.1.5 版
2023 年 10 月 9 日
Visual Studio Code 1.1.5 版本的 Databricks 延伸項目包含一些次要修正。 如需詳細資訊,請參閱 1.1.5 版本的變更記錄。
更新的預測性 I/O 已正式發行
2023 年 10 月 9 日
更新的預測性 I/O 現已在 Databricks Runtime 14.0 和更新版本中正式推出。 請參閱什麼是預測性 I/O?。
刪除向量已正式發行
2023 年 10 月 9 日
刪除向量現已在 Databricks Runtime 14.0 和更新版本中正式推出。 請參閱什麼是刪除向量?。
Partner Connect 支援 RudderStack
2023 年 10 月 5 日
您現在可以使用 Partner Connect 將 Azure Databricks 工作區連線至 RudderStack。 如需詳細資訊,請參閱連線至 RudderStack。
Databricks CLI 已更新至 0.207.0 版 (公開預覽)
2023 年 10 月 4 日
Databricks 命令列介面 (Databricks CLI) 已更新至 0.207.0 版。 此版本包含 Databricks 資產套件組合的功能更新和修正、對數個命令群組和命令進行的新增和變更等等。 如需詳細資訊,請參閱 0.207.0 版本的變更記錄。
在筆記本中執行選取的儲存格
2023 年 10 月 4 日
您現在可以只執行筆記本中的已選取資料格。 請參閱執行選取的資料格。
使用工作區目錄系結來提供目錄的唯讀存取權
2023 年 10 月 4 日
當您使用工作區目錄系結來限制帳戶中特定工作區的目錄存取權時,您現在可以讓該存取成為唯讀的。 將開發人員工作區與目錄綁定為唯讀有助於實現一些場景,如允許使用者在開發人員工作區中唯讀訪問生產數據,以支持開發和測試。
此更新也會取代 /api/2.1/unity-catalog/workspace-bindings/
API 端點,並將它取代為 /api/2.1/unity-catalog/bindings/
。
請參閱 限制特定工作區的目錄存取。
適用於 Visual Studio Code 的 Databricks 延伸項目已更新至 1.1.4 版
2023 年 10 月 2 日
Visual Studio Code 1.1.4 版本的 Databricks 延伸項目新增了對自訂 Azure Databricks 工作區 URL 的支援等等。 如需詳細資訊,請參閱 1.1.4 版本的變更記錄。
適用於 Python 的 Databricks SDK 已更新至0.10.0 版(搶鮮版 (Beta))
2023 年 10 月 3 日
Databricks SDK for Python 0.10.0 版本引進了 7 項中斷性變更,新增了 10 個資料類別,新增了 6 個欄位,以及新增了一項服務。 如需詳細資訊,請參閱 0.10.0 版本的變更記錄。
適用於 Go 的 Databricks SDK 已更新至0.22.0 版(搶鮮版 (Beta))
2023 年 10 月 3 日
Databricks SDK for Go 0.22.0 版本引進了一項中斷性 API 變更,並新增了一個 API。 如需詳細資訊,請參閱 0.22.0 版本的變更記錄。
Azure China 的 Unity 目錄磁碟區現在處於公開預覽狀態
2023 年 10 月 2 日
Unity 目錄磁碟區現在可在 Azure 中國區域中作為公開預覽功能使用。 請參閱 什麼是 Unity 目錄磁碟區?。