2020 年 6 月
這些功能和 Azure Databricks 平臺改良功能於 2020 年 6 月發行。
注意
分階段發行。 您的 Azure Databricks 帳戶可能要到初始發行日期後至多一週才會更新。
Databricks Connect 現在支援 Databricks Runtime 6.6
2020 年 6 月 26 日
Databricks Connect 現在支援 Databricks Runtime 6.6。
Databricks Runtime 7.0 ML 已正式發行
2020 年 6 月 22 日
Databricks Runtime 7.0 ML 建置在 Databricks Runtime 7.0 之上,並包含下列新功能:
- 筆記本範圍的 Python 連結庫和 conda 和 pip 命令所管理的自定義環境。
- 主要 Python 套件的更新,包括 tensorflow、tensorboard、pytorch、xgboost、sparkdl 和 hyperopt。
- 新增的 Python 套件 lightgbm、nltk、petastorm 和 plotly。
- RStudio Server 開放原始碼 v1.2。
如需詳細資訊,請參閱完整的 Databricks Runtime 7.0 ML (EoS) 版本資訊。
Databricks Runtime 7.0 已正式發行,由 Apache Spark 3.0 提供
2020 年 6 月 18 日
Databricks Runtime 7.0 是由 Apache Spark 3.0 提供電源,現在支援 Scala 2.12。
Spark 3.0 帶來許多額外的功能和改善,包括:
- 自適性查詢執行是彈性架構,可在Spark SQL中執行調適型執行,並支援在運行時間變更歸納器的數目。
- 重新設計了具有類型提示的 pandas UDF。
- 結構化串流 Web UI。
- 與 ANSI SQL 標準更好的相容性。
- Join 提示。
Databricks Runtime 7.0 新增:
- 改善 自動載入器 ,以便在 ETL 期間抵達雲端 Blob 存放區時,以累加方式處理新的數據檔。
- 已改善 COPY INTO 命令,以便通過等冪重試將數據載入 Delta Lake。
- 許多改進、連結庫新增和升級,以及 Bug 修正。
如需詳細資訊,請參閱完整的 Databricks Runtime 7.0 (EoS) 版本資訊。
適用於 Genomics 的 Databricks Runtime 7.0 已正式發行
2020 年 6 月 18 日
Databricks Runtime 7.0 for Genomics 建置在 Databricks Runtime 7.0 之上,並包含下列連結庫變更:
- ADAM 連結庫已從 0.30.0 版更新為 0.32.0。
- Hail 連結庫不包含在適用於 Genomics 的 Databricks Runtime 7.0 中,因為沒有以 Apache Spark 3.0 為基礎的版本。
MLflow 模型的階段相依存取控制
2020 年 6 月 16 日至 23 日:版本 3.22
您現在可以將階段相依訪問控制指派給使用者或群組,讓他們管理 在預備或生產階段的 MLflow 模型登錄中註冊的 MLflow 模型 。 我們引進了兩個新的許可權等級:CAN MANAGE STAGING VERSIONS 和 CAN MANAGE PRODUCTION VERSIONS。 具有這些許可權的用戶可以在層級允許的階段之間執行轉換。
如需詳細資訊,請參閱 MLflow 模型 ACL。
筆記本現在支援停用自動捲動
2020 年 6 月 16 日至 23 日:版本 3.22
當您使用shift+enter執行筆記本數據格時,如果看不到儲存格,預設筆記本行為是自動捲動至下一個儲存格。 您現在可以在 [使用者設定編輯器] 設定>>停用自動捲動。 如果您停用自動捲動, 請在shift+輸入 焦點移至下一個儲存格,但筆記本不會捲動至該儲存格。
中繼存放區 IP 位址於 2020 年 6 月 30 日變更
2020 年 6 月 11 日
Azure Databricks 的預設中繼存放區會使用 適用於 MySQL 的 Azure 資料庫。 適用於 Azure Databricks metastores 的所有適用於 MySQL 的 Azure 資料庫 IP 位址都會在 2020 年 6 月 30 日變更。 如果您已在自己的虛擬網路中部署 Azure Databricks 工作區,則該部署的路由 table 可能包含 Azure Databricks 中繼存放區 IP 位址,或路由至具有包含該位址之存取 list 的防火牆或 Proxy 設備。 如果是這種情況,您必須在 2020 年 6 月 30 日之前 update Azure Databricks 路由 tables,或更新具有新 MySQL IP 的防火牆,以免服務中斷。
Internet Explorer 11 支援於 8 月 15 日結束
2020 年 6 月 9 日
為了符合業界趨勢,並確保客戶的穩定且一致的用戶體驗,Azure Databricks 將於 2020 年 8 月 11 日終止對 Internet Explorer 11 的支援。
Databricks Runtime 6.2 系列支援結束
2020 年 6 月 3 日
支援 Databricks Runtime 6.2、databricks Runtime 6.2 for 機器學習,以及 Databricks Runtime 6.2 for Genomics 終止於 6 月 3 日。 請參閱 Databricks 支援生命週期。
使用叢集原則簡化和控制叢集建立 (公開預覽)
2020 年 6 月 2 日至 9 日:版本 3.21
叢集原則是系統管理定義的可重複使用叢集範本,可在叢集屬性上強制執行規則,因此確保使用者建立符合這些規則的叢集。 身為 Azure Databricks 系統管理員,您現在可以建立叢集原則,並提供使用者原則許可權。 如此一來,您可以更充分掌控所建立的資源、為使用者提供執行其工作所需的彈性層級,並大幅簡化叢集建立體驗。
如需詳細資訊,請參閱 建立和管理計算原則。
SCIM Me 端點現在會傳回符合 SCIM 規範的回覆
2020 年 6 月 2 日至 9 日:版本 3.21
SCIM Me 端點現在會傳回與 /users/{id}
端點相同的資訊,包括群組和權利等資訊。
請參閱 CurrentUser API。
使用 IP 存取清單限制對 Azure Databricks 的存取權 (公開預覽)
2020 年 6 月 1 日
現在可以設定 Azure Databricks 工作區,讓使用者只能透過具有安全周邊的現有公司網路連線到服務。 Azure Databricks 系統管理員可以使用IP存取 List API 來定義已核准IP位址 set,包括允許和封鎖清單。 對 Web 應用程式和 REST API 的所有傳入存取都要求使用者從經授權的 IP 位址進行連線,從而保證使用者只有使用 VPN 才能從咖啡店或機場等公用網路存取工作區。
此功能需要進階版方案。
如需詳細資訊,請參閱設定工作區的 IP 存取清單。