2024 年 7 月
這些功能和 Azure Databricks 平台改善功能於 2024 年 7 月發行。
注意
分階段發行。 你的 Azure Databricks 帳戶可能要到初始發行日期後一週以上才會更新。
增加同時工作的限制
2024 年 7 月 31 日
同時執行的工作的工作區限制已提升至 2000。 請參閱資源限制。
在筆記本內嵌和拖放影像
2024 年 7 月 31 日
您現在可以將影像直接內嵌在 Markdown 儲存格中,以在筆記本中顯示影像。 將桌面上的影像直接拖放到 markdown 儲存格中,即可自動上傳並顯示圖片。 請參閱顯示影像和拖放影像。
筆記本中可用的命令選擇區
2024 年 7 月 31 日
您現在可以使用命令選擇區快速在筆記本中執行動作。 在筆記本中,按下 MacOS 上的 Cmd + Shift + P 或 Ctrl + Shift + P 以存取常用動作。 請參閱命令選擇區
工作流程系統結構描述已重新命名為 lakeflow
2024 年 7 月 31 日
workflow
結構描述正在更新為 lakeflow
。 建議您切換為 lakeflow
,因為它會包含所有目前的資料表,以及未來新的資料表,例如管線。 客戶必須加入 lakeflow
結構描述,使其顯示在其中繼存放區中。 請參閱工作系統資料表參考。
LakeFlow Connect (封閉公開預覽)
2024 年 7 月 31 日
LakeFlow Connect 提供原生連接器,可讓您從資料庫和企業應用程式擷取資料,並將其載入 Azure Databricks。 LakeFlow Connect 利用有效率的累加式讀取和寫入,讓資料擷取更快、可調整且更具成本效益,而您的資料仍保持最新狀態以供下游取用。
目前支援 Salesforce Sales Cloud、Microsoft Azure SQL 資料庫、Amazon RDS for SQL Server 和 Workday。 請參閱 LakeFlow Connect。
Cloudflare R2 儲存體的支援已正式發行
2024 年 7 月 30 日
現在已正式推出使用 Cloudflare R2 作為 Unity 目錄中註冊資料的雲端記憶體。 Cloudflare R2 主要適用於差異共用使用案例,可讓您在跨區域傳輸資料時,避免雲端提供者收取的資料輸出費用。 R2 儲存體支援 AWS S3、Azure Data Lake Storage Gen2 與 Google Cloud Storage 中支援的所有 Databricks 資料和 AI 資產。 支援 R2 需要 SQL 倉儲或 Databricks Runtime 14.3 或更新版本。 請參閱使用 Cloudflare R2 複本或將儲存體移轉至 R2 和建立儲存體認證以便連線至 Cloudflare R2。
使用系統資料表監視 Databricks Assistant 活動 (公開預覽)
2024 年 7 月 30 日
您現在可以使用系統資料表監視儀表板中的 Databricks Assistant 活動。 如需詳細資訊,請參閱 Databricks Assistant 系統資料表參考和範例。
使用 Delta Sharing 共用結構描述現已正式發行
2024 年 7 月 30 日
使用 Delta Sharing 來共用結構描述的功能已正式發行。 共用整個結構描述可讓收件者存取您共用結構描述中的所有資料表和檢視,以及未來新增至結構描述的任何資料表和檢視。 使用 SQL 命令將結構描述新增至共用需要 SQL 倉儲或執行 Databricks Runtime 13.2 或更新版本之叢集。 使用目錄總管執行相同的作業沒有計算需求。 請參閱 將結構描述新增至共用。
Mosaic AI 代理程式架構可在 northcentral
和 centralus
中使用
2024 年 7 月 29 日
Mosaic AI 代理程式架構現已在 northcentral
和 centralus
區域中提供。 請參閱區域可用性有限的功能。
Databricks Assistant 可以診斷工作的問題 (公開預覽)
2024 年 7 月 29 日
Databricks Assistant 可以診斷失敗工作的問題 請參閱診斷工作中的錯誤。
Databricks Git 資料夾驗證和共用行為的更新
2024 年 7 月 29 日
- Git 資料夾對話方塊式驗證處理:現在已簡化使用者體驗,以協助使用者在開啟 Git 資料夾對話方塊時從驗證錯誤中復原。 在對話方塊中,您可以直接更新 Git 認證,以觸發自動重試。 您可以使用此方法來協助解決驗證錯誤。
- 發生驗證錯誤時,Git 資料夾對話方塊現在會在錯誤中顯示 Git 資料夾的提供者和網址。 先前是隱藏的,因此很難知道應該使用哪個 Git 認證來解決錯誤。
- Git 資料夾共用:使用者現在可以與其他工作區使用者共用URL連結。 在收件者的瀏覽器中開啟網址 時,Databricks 會開啟並啟動現有的 [新增 Git 資料夾] 對話方塊,其中包含預先填入的值 (例如 Git 提供者和 Git 存放庫網址)。 這可簡化工作區使用者中常用 Git 存放庫的 Git 資料夾複製作業。
如需詳細資訊,請參閱最佳做法:在 Git 資料夾中共同作業。
- 現在系統會提示使用者在自己的工作區中建立自己的 Git 資料夾,而不是在另一位使用者的 Git 資料夾中共同作業。
- Git 資料夾對話方塊狀態現在會儲存在您的網址中。 如果您在開啟 Git 資料夾對話方塊時,從瀏覽器複製網址,則可以稍後開啟或與其他使用者共用,而且會顯示相同的資訊。
- Git 資料夾差異檢視:在 Git 資料夾差異檢視中,已針對已取代的文字和多行變更新增較深的紅色和綠色醒目提示,讓您更輕鬆地判斷未認可的變更所變更的內容。
- 從筆記本或檔案編輯器開啟 Git 資料夾對話方塊會選取 Git 資料夾對話方塊中的筆記本或檔案,並預設顯示變更 (diffs)。
叢集程式庫安裝逾時
2024 年 7 月 29 日
叢集上的程式庫安裝現在有 2 小時逾時。 安裝超過 2 小時的程式庫將會標示為失敗。 如需叢集程式庫的資訊,請參閱叢集程式庫。
計算平面輸出 IP 位址必須新增至工作區 IP 允許清單
2024 年 7 月 29 日
當您在新工作區上設定安全叢集連線和 IP 存取清單時,您必須將計算平面用來存取控制平面的所有公用IP新增至允許清單,或設定後端私人連結。 這項變更會影響 2024 年 7 月 29 日的所有新工作區,以及 2024 年 8 月 26 日的現有工作區。 如需詳細資訊,請參閱 Databricks 社群貼文
例如,如果您在使用 VNet 插入的工作區上啟用安全的叢集連線,Databricks 建議您的工作區具有穩定的輸出公用 IP。 該公用 IP 和任何其他 IP 都必須包含在允許清單中。 請參閱使用安全叢集連線時的輸出 IP 位址。 或者,如果您使用 Azure Databricks 管理的 VNet,並設定受控 NAT 閘道來存取公用 IP,則這些 IP 必須位於允許清單中。
請參閱設定工作區的 IP 存取清單。
Databricks Runtime 9.1 系列支援延伸
2024 年 7 月 26 日
Databricks Runtime 9.1 LTS 和適用於機器學習的 Databricks Runtime 9.1 LTS 的支援已從 2024 年 9 月 23 日延伸至 2024 年 12 月 19 日。
Lakehouse Federation for SQL Server 支援單一登入 (SSO)
2024 年 7 月 25 日
Unity 目錄現在可讓您使用 SSO 驗證來建立 SQL Server 連線。 請參閱在 Microsoft SQL Server 上執行同盟查詢。
使用 Delta Sharing 的模型共用現已正式發行
2024 年 7 月 26 日
AI 模型共用的差異共用支援現已正式推出。 必須啟用 Unity 目錄的提供者和收件者工作區,而且必須在 Unity 目錄中註冊模型。
請參閱將模型新增至共用。
使用 Delta Sharing 共用註解和主索引鍵條件約束
2024 年 7 月 25 日
Delta Sharing 現在支援共用物件中繼資料,包括註解和主索引鍵條件約束:
模型註解和模型版本註解已包含在 Databricks 對 Databricks 共用一段時間,但尚未宣佈。
資料表註解、資料行註解、主索引鍵條件約束和磁碟區註解現在包含在 2024 年 7 月 25 日或之後與收件者共用的 Databricks 共用中。
如果您想要在該日期之前與收件者共用的共用中包含註解或條件約束,您必須撤銷並重新授與收件者存取權,以觸發註解和條件約束共用。
新的 Databricks JDBC 驅動程式 (OSS)
2024 年 7 月 25 日
公開預覽版已發行新的開放原始碼 Databricks JDBC 驅動程式。 此驅動程式已實作 JDBC API,並提供其他核心特徵,包括 OAuth、雲端擷取,以及 Unity 目錄磁碟區擷取等功能。 如需詳細資訊,請參閱 Databricks JDBC Driver (OSS)。
Databricks Runtime 15.4 LTS (搶鮮版 (Beta))
2024 年 7 月 23 日
Databricks Runtime 15.4 LTS 和 Databricks Runtime 15.4 LTS ML 現在可作為 搶鮮版 (Beta) 版本使用。
請參閲 Databricks Runtime 15.4 LTS 和 Databricks Runtime 15.4 LTS for Machine Learning。
Scala 已在 Unity Catalog 共用計算正式發行
2024 年 7 月 23 日
在 Databricks Runtime 15.4 LTS 和更新版本中,Scala 通常會在已啟用 Unity 目錄的共用存取模式上取得,包括支援純量使用者定義函式 (UDF)。 不支援結構化串流、Hive UDF 和 Hive 使用者定義聚合函數。 如需完整的限制清單,請參閱 Unity 目錄的計算存取模式限制。
單一使用者計算支援精細訪問控制、具體化檢視和串流數據表
2024 年 7 月 23 日
只要工作區已啟用無伺服器計算,Databricks Runtime 15.4 LTS 就引進了對單一使用者計算進行精細訪問控制的支援。 當查詢存取下列任一項時,Databricks Runtime 15.4 LTS 上的單一使用者計算資源會將查詢傳遞至無伺服器計算以執行數據篩選:
- 使用者沒有
SELECT
權限之資料表所建置的檢視 - 動態檢視
- 套用資料列篩選或資料行遮罩的資料表
- 具體化檢視和串流資料表
在 Databricks Runtime 15.3 和以下版本的單一用戶計算上不支援這些查詢。
如需詳細資訊,請參閱 單一用戶計算的精細訪問控制。
節點時間軸系統資料表現已推出 (公開預覽)
2024 年 7 月 23 日
system.compute
結構描述現在包含 node_timeline
資料表。 此資料表會記錄您帳戶中執行之所有用途和工作計算資源的分鐘使用量計量。 請參閱節點時程表資料表結構描述。
注意
若要存取此資料表,如果您尚未啟用結構描述,系統管理員就必須啟用 compute
結構描述。 請參閱啟用系統資料表結構描述。
模型服務現在支援 Meta Llama 3.1
2024 年 7 月 23 日
Mosaic AI 模型服務已與 Meta 合作,以支援 Meta Llama 3.1,這是由 Meta 建置和訓練的模型架構,並由 Azure 機器學習 使用 AzureML 模型目錄散發。 作為基礎模型 API 的一部分,支援 Llama 3.1。 請參閱使用基礎模型 API。
- Meta-Llama-3.1-405B-Instruct 和 Meta-Llama-3.1-70B-Instruct 可在每個權杖的付費服務端點區域中取得。
- 美國可使用佈建的輸送量,使用完整的 Llama 3.1 型號 (8B、70B 和 405B)。
從 2024 年 7 月 23 日起,Meta-Llama-3.1-70B-Instruct 會取代基礎模型 API 中依權杖付費端點中對 Meta-Llama-3-70B-Instruct 的支援。
Notebooks:切換更多可見儲存格標題
2024 年 7 月 18 日
使用者可以在其開發人員設定中啟用 [顯示升級的儲存格標題],讓筆記本儲存格標題在 UI 中更明顯。 請參閱升級的儲存格標題
工作區資產名稱中的 /
已遭取代
2024 年 7 月 17 日
為了避免路徑字串中的模棱兩可,新工作區資產名稱中的 ‘/’ 用法已被取代 (例如筆記本、資料夾和查詢)。 名稱中有 ‘/’ 的現有資產不會受到影響,但重新命名現有資產會遵循與新資產相同的規則。
Delta Sharing 可讓您共用使用液體叢集的資料表
2024 年 7 月 16 日
Delta Sharing 現在可讓您共用已啟用液體叢集的資料表,而收件者可以對其執行批次查詢。 Liquid 叢集可簡化資料配置決策,並將查詢效能最佳化。 請參閱使用差異資料表 和 Delta Lake 特徵支援矩陣的液體叢集。
查詢歷史記錄系統資料表現已推出 (公開預覽)
2024 年 7 月 16 日
Azure Databricks 系統資料表現在包含查詢記錄資料表。 此資料表會記錄帳戶中 SQL 倉儲上執行之每個查詢的詳細記錄。 若要存取資料表,系統管理員必須啟用新的 query
系統結構描述。 請參閱查詢記錄系統資料表參考。
弱點掃描報告現已透過電子郵件傳送給管理員
2024 年 7 月 16 日
弱點掃描報告現在會透過電子郵件傳送給工作區系統管理員,以啟用增強的安全性監視。 先前,工作區系統管理員必須向 Azure Databricks 要求弱點掃描報告。 請參閱增強的安全性監視。
Unity Catalog 外部資料表的分割區中繼資料記錄
2024 年 7 月 15 日
在 Databricks Runtime 13.3 LTS 和更新版本中,您可以選擇為使用 Parquet、ORC、CSV 或 JSON 之 Unity 目錄註冊的外部資料表啟用資料分割中繼資料記錄。 資料分割中繼資料記錄是與Hive中繼存放區一致的資料分割探索策略。 請參閱外部資料表的資料分割探索。
工作流程的無伺服器計算已正式發行
2024 年 7 月 15 日
工作流程的無伺服器計算現已正式推出。 工作流程的無伺服器計算可讓您執行 Azure Databricks 工作,而不需設定及部署基礎結構。 使用工作流程的無伺服器計算,Azure Databricks 可有效率地管理執行工作的計算資源,包括最佳化和調整工作負載的計算。 請參閱使用適用於工作流程的無伺服器計算來執行 Azure Databricks 工作。
筆記本的無伺服器計算已正式發行
2024 年 7 月 15 日
筆記本的無伺服器計算現已正式推出。 筆記本的無伺服器計算可讓您隨選取筆記本中可調整的計算,讓您立即撰寫和執行 Python 或 SQL 程式碼。 請參閱筆記本的無伺服器計算。
適用於 Python 的 Databricks Connect 現在支援無伺服器計算
2024 年 7 月 15 日
適用於 Python 的 Databricks Connect 現在支援連線至無伺服器計算。 此功能目前以公開預覽版的形式提供。 請參閱設定與無伺服器計算的連線。
使用自然語言提示篩選資料輸出
2024 年 7 月 11 日
您現在可以使用 Databricks Assistant,使用自然語言提示來篩選資料輸出。 例如,若要篩選泰坦尼克號倖存者資料表,您可以輸入「只顯示超過 70 名男性」。 請參閱使用自然語言提示篩選資料。
外部模型的純文字祕密支援
2024 年 7 月 11 日
您現在可以將 API 金鑰直接輸入為純文字字串,以建立裝載外部模型的端點模型化模型。 請參閱設定端點的提供者。
使用 ai_forecast()
預測時間序列資料
2024 年 7 月 11 日
AI Functions 現在支援 ai_forecast()
,這是分析師和資料科學家的新 Databricks SQL 函式,其設計目的是將時間序列資料推斷到未來。 請參閱 ai_forecast 函式。
對具有多重陳述式 SQL 查詢的檔案的 SQL 檔案工作支援已正式發行
2024 年 7 月 10 日
支援透過 SQL 檔案工作使用包含多重陳述式 SQL 查詢的檔案現已正式發行。 這項變更可讓您從單一檔案執行多個 SQL 陳述式。 先前,您需要為每個陳述式新增個別檔案。 若要深入瞭解 SQL 檔案工作,請參閱工作的 SQL 任務。
Lakehouse Federation 支援 Salesforce Data Cloud (公開預覽)
2024 年 7 月 10 日
您現在可以對 Salesforce Data Cloud 所管理的資料執行同盟查詢。 請參閱 在 Salesforce Data Cloud 上執行同盟查詢。
Databricks Assistant 系統資料表現已推出 (公開預覽)
2024 年 7 月 10 日
Databricks Assistant 事件現在會記錄在位於 system.access.assistant_events
的系統資料表中。 請參閱 Databricks Assistant 系統資料表參考和範例。
帳戶 SCIM API v2.1 (公開預覽)
2024 年 7 月 10 日
帳戶 SCIM API 會從 v2.0 更新為 v2.1,以取得速度和可靠性。 您可以下載帳戶 SCIM v2.1 API 參考的 PDF。
每個 Unity Catalog 中繼存放區資料表的資源配額增加
2024 年 7 月 3 日
您的 Unity 目錄中繼存放區現在可以註冊最多一百萬個資料表。 請參閱資源配額。
Databricks Assistant 可以自動診斷筆記本錯誤
2024 年 7 月 2 日
Databricks Assistant 現在可以在偵測到錯誤訊息時自動在筆記本中執行 /fix
。 助理會使用產生 AI 來分析您的程式碼和錯誤訊息,以直接在筆記本中建議修正程式。 如需詳細資訊,請參閱偵錯程式碼: Python 和 SQL 範例。
對 SQL 檔案工作 :param
語法的支援已正式發行
2024 年 7 月 1 日
支援在 Azure Databricks 工作 SQL 檔案工作中搭配參數化查詢使用 :param
語法已正式發行。 您現在可以在查詢參數的名稱前面加上冒號 (:parameter_name
) 來參考查詢參數。 此語法是雙大括弧 ({{parameter_name}}
) 語法的現有支援的補充。 若要深入瞭解如何搭配 SQL 檔案工作使用參數化查詢,請參閱設定工作參數。