2024 年 8 月
這些功能和 Azure Databricks 平台改進於 2024 年 8 月發佈。
注意
分階段發行。 您的 Azure Databricks 帳戶可能要到初始發行日期後一週以上才會更新。
使用新的資源配額 API,對照配額監視 Unity Catalog 物件使用量
2024 年 8 月 30 日
新的資源配額 API 可讓您針對資源配額監視 Unity Catalog 安全物件的使用量。 很快,當接近配額限制時,您也能夠接收電子郵件通知。 請參閱監視 Unity Catalog 資源配額的使用方式和資源配額 API 參考。
MPT 7B Instruct 和 MPT 30B Instruct 模型淘汰
2024 年 8 月 30 日
MPT 7B Instruct 和 MPT 30B Instruct 模型現已淘汰。 如需建議的替代模型,請參閱淘汰的模型。
AskSupport 由 Azure Databricks Assistant 取代
2024 年 8 月 29 日
AskSupport 是基於 Databricks Slack 的支援通道,已取代為 Databricks Assistant,您可以在 Databricks 工作區中取得。 使用 Databricks Assistant 來搜尋技術文件、建立票證以及取得內容感知支援。
若要使用 AI Assistant,必須在您的帳戶主控台中啟用 AI Assistant。
新增至帳戶主控台的可匯入成本管理儀表板 (公開預覽)
2024 年 8 月 28 日
帳戶管理員現在可以從帳戶控制台將可自訂的成本管理儀表板匯入其帳戶中的任何 Unity Catalog 工作區。 儀表板有兩個版本:一個監視全帳戶使用量,另一個用於單一工作區使用量。
Lakeflow 系統資料表會隨著新增資料行而擴充
2024 年 8 月 23 日
結構描述中的 system.lakeflow
資料表正在使用其他資料行進行擴充。 已進行下列變更:
jobs
會使用description
資料行進行擴充。job_run_timeline
會使用run_type
、run_name
、compute_ids
、termination_code
和job_parameters
資料行進行擴充。job_task_run_timeline
會使用job_run_id
、parent_run_id
和termination_code
資料行進行擴充。
結構描述變更不會中斷,而且不會干擾現有工作流程。 新的資料行將不會針對已發出的資料列進行回填。 如需詳細資訊,請參閱工作系統參考資料表。
Python 程式碼格式化錯誤醒目提示
2024 年 8 月 23 日
筆記本和檔案編輯器中的 Python 程式碼可以反白顯示格式化錯誤和警告,例如非預期的縮排、長行長度等等。 請參閱 Python 格式化醒目提示。
Delta Sharing:Python 和 Power BI 連接器現可支援更多 Delta Lake 功能
2024 年 8 月 21 日
Delta Sharing Python 連接器 1.1.0+ 和 Power BI v2.132.908.0+ 現在支援:
- 資料行對應名稱模式
- 刪除向量
- 統一格式
Databricks Runtime 14.1+ 和開放原始碼 Delta Sharing Apache Spark 連接器 3.1+ 已支援這些 Delta Lake 功能。
請參閱 Delta Lake 功能支援矩陣。
Delta Sharing 新增 TimestampNTZ 的支援
2024 年 8 月 21 日
Delta Sharing 在 Databricks Runtime 14.1 和更新版本以及開放原始碼 Delta Sharing Apache Spark 連接器 3.3 和更新版本上新增 TimestampNTZ 的支援。
請參閱 Delta Lake 功能支援矩陣。
Azure Databricks 工作 For each
任務已正式發行
2024 年 8 月 21 日
For each
任務現在已正式發行。 您可以使用 For each
任務在迴圈中執行另一個任務,將一組不同的參數傳遞至任務的每個迭代。 For each
任務可以逐一查看任何標準工作任務,例如筆記本、JAR、Python 指令碼或 SQL 任務。 請參閱在迴圈中執行參數化 Azure Databricks 工作任務。
工作區管理員的 Azure RBAC 權限
2024 年 8 月 20 日
先前,需要內建的 Azure RBAC (角色型存取控制) 參與者或擁有者角色,才能從 Azure 向使用者授與 Azure Databricks 工作區管理員角色。 您現在可以建立具有權限 Microsoft.Databricks/workspaces/assignWorkspaceAdmin/action
的自訂 Azure RBAC 角色,以授與使用者 Azure Databricks 工作區管理員角色。 這些使用者可以管理其 Azure Databricks 服務並設定診斷記錄。 如需詳細資訊,請參閱必要的 Azure 管理權限。
Databricks Runtime 15.4 LTS 已正式發行
2024 年 8 月 19 日
Databricks Runtime 15.4 LTS 和 Databricks Runtime 15.4 LTS ML 現已正式發行。
請參閲 Databricks Runtime 15.4 LTS 和 Databricks Runtime 15.4 LTS for Machine Learning。
個人化筆記本自動完成
2024 年 8 月 19 日
筆記本自動完成現在會根據個別的 Unity Catalog 中繼資料和使用方式來排定建議的優先順序,為每個使用者提供自訂建議排名。 請參閱個人化自動完成
為工作計算設定工作區的預設存取模式
2024 年 8 月 16 日
工作區管理員現在可以為其工作區中的工作計算設定預設存取模式。 此預設存取模式會套用至沒有已定義存取模式的計算資源。 如需詳細資訊,請參閱工作計算的預設存取模式。
適用於 Databricks Assistant 的全新 Slash 命令
2024 年 8 月 14 日
Databricks Assistant 已新增下列 Slash 命令作為常見任務的捷徑:
/findTables
:根據 Unity Catalog 中繼資料搜尋相關資料表。/findQueries
:根據 Unity Catalog 中繼資料搜尋相關查詢。/prettify
:將程式碼格式化以提高可讀性。/rename
:根據內容,建議筆記本儲存格和其他元素使用更新名稱。/settings
:直接透過 Assistant 調整筆記本設定。
如需詳細資訊,請參閱使用 Slash 命令進行提示。
工作區搜尋現在支援磁碟區
2024 年 8 月 14 日
磁碟區現在包含在搜尋結果中。 請參閱搜尋工作區物件。
基礎模型微調中支援的Meta Llama 3.1 405B模型
2024 年 8 月 14 日
Meta Llama 3.1 405B 模型現在支援基礎模型微調。 請參閱支援的模型。
Databricks JDBC 驅動程式 2.6.40
2024 年 8 月 13 日
Databricks JDBC Driver 2.6.40 版現在可從 JDBC 驅動程式下載取得。 此版本移除了多餘的 WARNING
記錄訊息,可提高記錄可用性和安全性。
此版本包含下列改進和新功能:
- OIDC 探索端點支援。 驅動程式現在可以設定 OIDC 探索端點來擷取權杖並檢索授權端點。
- 已更新 Arrow 支援。 驅動程式現在使用 Apache Arrow 14.0.2 版。 舊版驅動程式使用 Apache Arrow 9.0.0 版。
ProxyIgnoreList
支援。 當UseProxy
設定為1
時,驅動程式現在支援ProxyIgnoreList
屬性。- 重新整理權杖支援。 驅動程式現在支持可選的重新整理權杖。 它會儲存存取權杖並在有效期內將其重新用於新連線。 如果驅動程式無法使用重新整理權杖來更新存取權杖,則會再次登入。
- 已更新驗證支援。 驅動程式現在支援 Google Cloud 上的瀏覽器型 (U2M) 和用戶端認證 (M2M) 驗證。
- 已新增統一的預設 OAuth 選項。
- 您現在可以設定 OAuth 重新導向連接埠。 若要這麼做,請將
OAuth2RedirectUrlPort
屬性設為您的連接埠。
如需完整的組態資訊,請參閱隨驅動程式下載套件一起安裝的 Databricks JDBC 驅動程式指南。
如果 90 天後未使用,則會撤銷 Databricks 個人存取權杖
2024 年 8 月 13 日
Databricks 現在會自動撤銷 90 天或更長時間內未使用的任何個人存取權杖 (PAT)。 如需詳細資訊,請參閱 監視和撤銷個人存取令牌。
叢集 API 現在支援部分組態更新
2024 年 8 月 13 日
新的 API 呼叫可讓您部分更新叢集組態,要求您只指定您想要更新的屬性。 請參閱 REST API 參考中的更新叢集組態 (部分)。
在筆記本儲存格中換行
2024 年 8 月 12 日
您現在可以啟用或停用筆記本儲存格中的換行,讓文字可以換行到多行,或透過水平捲動保持在單行上。 請參閱換行。
指定 Mosaic AI 向量搜尋要同步處理的資料行
2024 年 8 月 12 日
您現在可以指定資料表中要用於向量搜尋索引的資料行子集。 主索引鍵資料行和內嵌資料行始終同步。 請參閱如何建立和查詢向量搜尋索引。
工作區資料夾中的檔案不能再有相同的名稱
2024 年 8 月 9 日
當資產的名稱與另一個檔案的名稱完全相符時,考慮到資產的檔案副檔名,Databricks 現在可阻止您在工作區資料夾中建立或重新命名資產。 例如,如果在相同工作區資料夾中已經有一個基礎名稱為 test
且擴展名為 .py
的筆記本,您就無法再建立名為 test.py
的檔案。
如需詳細資訊,請參閱在工作區資料夾中命名資產。
計算原則強制執行現已推出
2024 年 8 月 8 日
原則合規性強制執行可讓工作區管理員更新其工作區的計算資源,以符合最新版的原則。 此功能可用於 UI 或叢集原則 API。
Foundation Model API (按權杖付費) 現已正式發行
2024 年 8 月 7 日
Foundation Model API 按權杖付費現已正式發行。 請參閱按權杖付費的 Foundation Model API。
使用 Databricks Clean Rooms 安全且私密地就資料專案展開共同作業 (公開預覽)
2024 年 8 月 6 日
Databricks Clean Rooms 使用 Delta Sharing 和無伺服器計算來提供安全且保護隱私的環境,讓多方可以共用敏感和企業資料並進行共同作業,不需要直接存取彼此的資料。
透過 Clean Rooms,來自其他 Databricks 帳戶的使用者可以共同作業,以生成關於共用專案的獨特見解,例如廣告活動、投資決策或研發,而不需要移動或公開敏感資料。 使用 Databricks 筆記本所支援的任何語言,在臨時環境中執行複雜的工作負載,包括 Python,提供機器學習工作負載的原生支援。
若要試用,請洽詢您的 Azure Databricks 代表。
請參閱什麼是 Azure Databricks Clean Rooms?。
Mosaic AI 向量搜尋現在符合 HIPAA 規範
2024 年 8 月 6 日
Mosaic AI 向量搜尋現在符合所有區域的 HIPAA 規範。
格式化筆記本中的資料行和查詢結果資料表
2024 年 8 月 6 日
使用諸如貨幣、百分比、URL、控制小數位數等資料行格式選項,自訂結果資料表,使其更具可讀性。 請參閱格式化資料行。
資料列篩選和資料行遮罩現已正式發行,並已改善
2024 年 8 月 6 日
Databricks Runtime 12.2 和更新版本現已正式推出將資料列篩選和資料行遮罩套用至資料表的功能。 資料列篩選和資料行遮罩可防止指定使用者存取敏感資料。 這些篩選和遮罩會實作為 SQL 使用者定義函式 (UDF)。 正式發行版支援公開預覽版中無法使用的下列功能:
原則參數中的常數運算式 (字串、數值、間隔、布林值、Null)。
具體化檢視和串流資料表 (公開預覽)。
MERGE 陳述式。
資料表取樣。
單一使用者計算上微調訪問控制的個別支援版本也會展開計算選項,以處理已套用數據列篩選和數據行遮罩的數據表。
Lakehouse Federation 已正式發行 (GA)
2024 年 8 月 1 日
在 Databricks Runtime 15.2 和更新版本以及 Databricks SQL 2024.30 版和更新版本中,下列資料庫類型中的 Lakehouse Federation 連接器已正式發行 (GA):
- MySQL
- PostgreSQL
- Amazon Redshift
- Snowflake
- Microsoft SQL Server
- Azure Synapse (SQL 資料倉儲)
- Databricks
此版本也引入了下列改善:
支援 Snowflake 和 Microsoft SQL Server 連接器中的單一登入 (SSO) 驗證。
來自無伺服器計算環境的 SQL Server 連接器的 Azure Private Link 支援。 請參閱步驟 3:建立私人端點規則。
對於其他下推 (字串、數學及其他函式) 的支援。
已改善不同查詢圖形的下推成功率。
其他下推偵錯功能:
EXPLAIN FORMATTED
輸出會顯示下推查詢文字。- 查詢設定檔 UI 會顯示下推查詢文字、聯合節點識別碼和 JDBC 查詢執行次數 (詳細資訊模式)。 請參閱檢視系統生成的聯合查詢。