2024 年 5 月
這些功能和 Azure Databricks 平臺改良功能於 2024 年 5 月發行。
注意
分階段發行。 你的 Azure Databricks 帳戶可能要到初始發行日期後一週以上才會更新。
無伺服器防火牆組態現在支援更多計算類型
2024 年 5 月 31 日
Azure Databricks 現在支援使用網路連線設定組態 (NCC) 為 CPU 端點存取設定無伺服器作業、筆記本、Delta 實時數據表管線和模型設定防火牆。 帳戶管理員可以建立 NCC,並將其連結至工作區,以確保透過穩定子網的安全和控制存取。
請參閱設定供無伺服器計算存取的防火牆。
Databricks Runtime 15.0 系列支援結束
2024 年 5 月 31 日
支援 Databricks Runtime 15.0 和 Databricks Runtime 15.0 for 機器學習 於 5 月 31 日結束。 請參閱 Databricks 支援生命週期。
Databricks Runtime 15.3 (搶鮮版 (Beta))
2024 年 5 月 30 日
Databricks Runtime 15.3 和 Databricks Runtime 15.3 ML 現在可作為 Beta 版本使用。
如需 機器學習,請參閱 Databricks Runtime 15.3 和 Databricks Runtime 15.2。
所有 Databricks Runtime 版本現在都可使用計算計量 UI
2024 年 5 月 30 日
計算計量 UI 已推出至所有 Databricks Runtime 版本。 先前,這些計量僅適用於 Databricks Runtime 13.3 和更新版本的計算資源。 請參閱 檢視計算計量。
已改善筆記本和 SQL 編輯器結果資料表中的搜尋和篩選
2024 年 5 月 28 日
您現在可以輕鬆地搜尋數據行,並從筆記本和 SQL 編輯器中結果數據表中現有值的下拉式清單中選取篩選值。
新的儀表板可協助 Databricks Marketplace 提供者監視清單使用量
2024 年 5 月 28 日
新的提供者分析儀錶板可讓 Databricks Marketplace 提供者監視清單檢視、要求和安裝。 儀表板會從 Marketplace 系統資料表提取資料。 請參閱使用儀表板監控列出使用計量。
在中檢視系統產生的同盟查詢 Query Profile
2024年5月24日
Lakehouse 同盟現在支援在查詢配置檔中檢視系統產生的同盟查詢及其計量。 按兩下圖表檢視中的同盟掃描節點,以顯示向下推送至數據源的查詢。 請參閱<檢視系統產生的同盟查詢>。
計算平面輸出 IP 位址必須新增至工作區 IP 允許清單
2024年5月24日
如果您在工作區上使用安全的叢集連線和IP存取清單,您必須將計算平面用來存取控制平面的所有公用IP新增至允許清單或設定 後端 Private Link。 這項變更會影響 2024 年 7 月 29 日的所有新工作區,以及 2024 年 8 月 26 日的現有工作區。 如需詳細資訊,請參閱 Databricks 社群貼文
例如,如果您在使用 VNet 插入的工作區上啟用安全的叢集連線,Databricks 建議您的工作區具有穩定的輸出公用 IP。 該公用IP和任何其他IP都必須出現在允許清單中。 請參閱使用安全叢集連線時的輸出 IP 位址。 或者,如果您使用 Azure Databricks 管理的 VNet,並設定受控 NAT 閘道來存取公用 IP,這些 IP 必須出現在允許清單中。
請參閱設定工作區的 IP 存取清單。
Lakehouse Federation for Snowflake 支援 OAuth
2024年5月24日
Unity 目錄現在可讓您使用 OAuth 建立 Snowflake 連線。 請參閱 在 Snowflake 上執行同盟查詢。
從工作區瀏覽器大量移動和刪除工作區物件
2024年5月24日
您現在可以選取工作區中的多個項目來移動或刪除。 選取多個物件時,動作列隨即出現,並有移動或刪除項目的選項。 此外,您可以使用滑鼠選取多個項目,並將這些項目拖曳至新的位置。 對於物件的現有權限仍可在大量移動和刪除作業期間套用。
Unity Catalog 物件可在最近項目和我的最愛中取用
2024年5月23日
您現在可以在最近的清單中找到 Unity Catalog 物件,例如目錄和架構。 您也可以在目錄總管和架構瀏覽器中將 Unity 目錄物件設為我的最愛,並在工作區首頁上尋找我的最愛物件。
新的 dbt-databricks 連接器 1.8.0 採用分離 dbt 結構
2024年5月23日
DBT-Databricks 連接器 1.8.0 是採用新分離 dbt 架構的第一個版本。 連接器現在取決於配接器和 dbt 核心之間的共用抽象層,而不需要依賴 dbt 核心來釋放客戶必須指定這兩個連結庫的版本。 因此,連接器不再需要將 Databricks 功能版本與 dbt 核心版本相符,而且可以自由採用 語意版本控制。 這表示連接器開發人員不再需要將每個模型的計算等重要功能發行為修補程式。
此版本也會帶來下列內容:
- 具體化檢視和串流數據表宣告和作業的改善,包括排程自動重新整理的能力。
- 支援 Unity 目錄安全性實體物件 標記。 為了區分它們與 dbt 標籤,這些標記是經常用於在 dbt 作業中選取模型的元數據,這些標籤在模型組態中命名
databricks_tags
。 - 元數據處理效能的數項改善。
新的合規性和安全性設定 API (公開預覽)
2024年5月23日
Databricks 引進了合規性安全性配置檔的新 API、增強的安全性監視,以及工作區中的自動叢集更新設定。 請參閱:
Databricks Runtime 15.2 已正式發行
2024年5月22日
Databricks Runtime 15.2 和 Databricks Runtime 15.2 ML 現已正式推出。
如需 機器學習,請參閱 Databricks Runtime 15.2 和 Databricks Runtime 15.2。
適用於 Delta Sharing 的全新 Tableau 連接器
2024年5月22日
新的 Tableau Delta Sharing Connector 可簡化 Tableau Desktop 存取使用 Delta Sharing 開啟共用通訊協定與您共享的數據。 請參閱 Tableau:讀取共享數據。
新的深度學習建議模型範例
2024年5月22日
Databricks 已發佈兩個新的範例,說明現代深度學習建議模型,包括 雙塔模型 和Meta的 DLRM。 若要深入瞭解深度學習建議模型,請參閱 將推薦模型定型。
將儲存體認證和外部位置繫結至特定工作區 (公開預覽)
2024年5月22日
您現在可以將記憶體認證和外部位置系結至特定工作區,以防止從其他工作區存取這些物件。 如果您使用工作區來隔離用戶數據存取,則這項功能特別有用,例如,如果您有個別的生產與開發工作區或專用工作區來處理敏感數據。
如需詳細資訊,請參閱 (選擇性) 將外部位置指派給特定工作區 ,以及 (選擇性) 將記憶體認證指派給特定工作區。
Git 資料夾已正式發行
2024年5月22日
Git 資料夾現已正式推出。 請參閱 Databricks Git 資料夾的 Git 整合。 如果您是前 「Repos」 功能的使用者,請參閱 Databricks Repos 發生什麼事?。
Unity Catalog 中預先訓練的模型 (公開預覽)
2024年5月21日
Databricks 現在包含 Unity 目錄中高品質、預先定型的 GenAI 模型。 這些預先定型的模型可讓您存取推斷工作流程的最先進的 AI 功能,以節省建置您自己的自定義模型的時間和費用。 請參閱 Unity 目錄和 Marketplace 中的預先定型模型。
Mosaic AI 向量搜尋已正式發行
2024年5月21日
馬賽克 AI 向量搜尋現已正式推出。 請參閱 馬賽克 AI 向量搜尋。
Databricks Assistant 自動完成 (公開預覽)
2024年5月20日
當您在筆記本、查詢和檔案中輸入時,Databricks Assistant 自動完成會即時提供 AI 支援的建議。 若要啟用它,請移至 [設定>開發人員>實驗性功能] 並切換 Databricks Assistant 自動完成。 如需詳細資訊,請參閱 以 AI 為基礎的自動完成。
Foundation Model Training 支援 Meta Llama 3
2024年5月20日
基礎模型訓練現在支援Meta Llama 3。 請參閱 基礎模型微調。
Git 資料夾 UI 的新變更
2024 年 5 月 17 日
您可能會注意到 Git 資料夾互動的使用者介面有一些變更。 我們已新增下列專案:
當您共用 Git 資料夾時,您會在橫幅中看到新的警示,提示您複製 連結以建立 Git 資料夾。 當您按鍵時,URL 會複製到本機剪貼簿,您可以傳送至其他使用者。 當該收件者使用者在瀏覽器中載入該 URL 時,系統會將使用者帶到工作區,以便從相同的遠端 Git 存放庫複製自己的 Git 資料夾。 當收件者存取 URL 時,他們會在 UI 中看到 [建立 Git 資料夾 ] 對話框,該對話方塊會預先填入從 Git 資料夾取得的值。
同樣地,當您檢視其他使用者建立的 Git 資料夾時,新的按鈕 [建立 Git] 資料夾會出現在新的警示橫幅上。 按下此按鈕,根據 [建立 Git 資料夾] 對話框中預先填入的值 ,為相同的 Git 存放庫建立您自己的 Git 資料夾 。
Foundation Model Training (公開預覽)
2024年5月13日
Databricks 現在支持基礎模型定型。 使用基礎模型定型,您可以使用自己的數據來自定義基礎模型,以優化其特定應用程式的效能。 對基礎模型進行微調或持續訓練後,相較於從頭訓練模型,自行訓練模型耗用的資料、時間和運算資源可大幅減少。 定型數據、檢查點和微調模型全都位於 Databricks 平臺上,並與其治理和生產力工具整合。
如需詳細資訊,請參閱 基礎模型微調。
允許使用者將資料從結果資料表複製到剪貼簿
2024年5月9日
系統管理員現在可以啟用或停用使用者 從結果數據表將數據複製到剪貼簿的能力。 先前,此功能僅限於筆記本。 現在,此設定適用於下列介面:
- Notebooks
- 儀表板
- Genie Spaces
- 目錄總管
- 檔案編輯器
- SQL 編輯器
Unity Catalog 物件的屬性標記值長度現在可以是 1000 個字元 (公開預覽)
2024 年 5 月 8 日
Unity 目錄中的屬性標記值現在可以長達 1000 個字元。 標記索引鍵的字元限制會維持 255。 請參閱<將標籤套用至 Unity 目錄安全性實體物件>。
新的預覽頁面
2024 年 5 月 8 日
在新的預覽頁面上啟用及管理 Databricks 預覽的存取權。 請參閱管理 Azure Databricks 預覽版。
Mosaic AI 向量搜尋的新功能
2024 年 5 月 8 日
新功能包括下列各項:
- 現在支援IP存取清單 。
- 客戶管理的金鑰 (CMK) 現在支援在 2024 年 5 月 8 日或之後建立的端點。 CMK 的向量搜尋支援處於公開預覽狀態。
- 改善稽核記錄和成本屬性追蹤。 請參閱診斷記錄參考。
- 您現在可以將產生的內嵌儲存為 Delta 資料表。 請參閱 建立向量搜尋索引。
請參閱 馬賽克 AI 向量搜尋。
認證傳遞和 Hive 中繼存放區資料表存取控制已被取代
2024年5月7日
Databricks Runtime 15.0 上已淘汰認證傳遞 和 Hive 中繼存放區數據表訪問控制 ,且即將推出的 DBR 版本將會移除支援。
升級至 Unity 目錄以藉由提供集中位置來管理和稽核帳戶中多個工作區的資料存取,簡化資料的安全性和控管。 請參閱什麼是 Unity Catalog?。
Databricks JDBC 驅動程式 2.6.38
2024年5月6日
我們已發行 Databricks JDBC 驅動程式 2.6.38 版(下載)。 此版本新增下列功能和改進:
- 如果伺服器使用
SPARK_CLI_SERVICE_PROTOCOL_V8
,則原生參數化查詢支援。 查詢中的參數數目限制是在256
原生查詢模式中。 - 使用
Unity Catalog
磁碟區支持的數據擷取。 若要深入瞭解使用Unity Catalog
Unity 目錄連線到雲端物件記憶體中的 磁碟區。 若要使用此專案,請將 設定UseNativeQuery
為1
。 QueryProfile
新增至IHadoopStatement
的 介面可讓應用程式擷取查詢的query id
。query id
可用來使用 Databricks REST API 擷取查詢的元數據。- 如果伺服器使用
SPARK_CLI_SERVICE_PROTOCOL_V9
,則元數據 Thrift 呼叫的異步作業。 若要使用這項功能,請將 屬性設定EnableAsyncModeForMetadataOperation
為1
。 - JWT 判斷提示支援。 連接器現在使用客戶端認證支援 JWT 判斷提示 OAuth。 若要這樣做,請將
UseJWTAssertion
屬性設定為1
。
此版本也會解決下列問題:
- Jackson 連結庫更新。 連接器現在會針對 Jackson JSON 剖析器使用下列連結庫:jackson-annotations 2.16.0 (先前為 2.15.2)、jackson-core 2.16.0 (先前為 2.15.2)、jackson-databind-2.16.0 (先前為 2.15.2)
- 連接器包含META-INF目錄中未包含的類別檔案。
工作區儲存體帳戶的防火牆支援已正式發行
2024年5月6日
當您建立新的 Azure Databricks 工作區時,會在受控資源群組中建立 Azure 記憶體帳戶,稱為工作區記憶體帳戶。 您現在可以啟用防火牆,以限制僅來自授權資源和網路的工作區記憶體帳戶存取。 請參閱啟用工作區儲存體帳戶的防火牆支援。
Databricks Runtime 15.2 (搶鮮版 (Beta))
2024年5月2日
Databricks Runtime 15.2 和 Databricks Runtime 15.2 ML 現在可作為 Beta 版本使用。
如需 機器學習,請參閱 Databricks Runtime 15.2 和 Databricks Runtime 15.2。
筆記本現在會偵測並自動完成 Spark Connect DataFrame 的資料行名稱
2024年5月1日
Databricks 筆記本現在會自動偵測並顯示 Spark Connect DataFrames 中的數據行名稱,並可讓您使用自動完成來選取數據行。