2018 年 11 月
這些功能和 Azure Databricks 平台改善功能於 2018 年 11 月發行。
注意
分階段發行。 您的 Azure Databricks 帳戶可能要到初始發行日期後至多一週才會更新。
程式庫 UI
重要
此更新已於 2018 年 12 月 7 日還原。
2018 年 11 月 27 日至 12 月 4 日:2.85 版
在此版本中,程式庫 UI 已大幅改善。
Azure Databricks UI 現在支援工作區程式庫和叢集連結程式庫。 工作區程式庫存在於工作區中,可以連結一或多個叢集上。 叢集連結的程式庫是僅存在於所連結叢集內容中的程式庫。 此外:
- 您現在可以從上傳至物件儲存體的檔案建立程式庫。
- 您現在可以從程式庫詳細資料頁面和叢集的 [程式庫] 索引標籤中連結和中斷連結安裝程式庫。
- 現在,使用 API 安裝的程式庫會在叢集的 [程式庫] 索引標籤中顯示。
已啟用自訂 Spark 堆積記憶體設定
2018 年 11 月 27 日至 12 月 4 日:2.85 版
下列 Spark 記憶體設定現在生效:
spark.executor.memory
spark.driver.memory
重要
- Azure Databricks 在每個節點上都有執行的服務,因此 Spark 的最大允許記憶體小於雲端提供者報告的 VM 記憶體容量。 如果要為 Spark 提供執行程式或驅動程式的最大堆積記憶體數量,請勿分別指定
spark.executor.memory
或spark.driver.memory
。 - 先前無效但略過的某些叢集組態可能會導致叢集失敗。
工作和閑置執行內容收回
2018 年 11 月 27 日至 12 月 4 日:2.85 版
工作現在自動收回閑置執行內容。 若要將自動收回降至最低,Azure Databricks 建議您針對作業和互動式工作負載使用不同的叢集。
適用於機器學習的 Databricks Runtime 5.0 (搶鮮版 (Beta)) 版本
2018 年 11 月 19 日
Databricks Runtime 5.0 ML (測試版) 為機器學習和資料科學提供完備環境。 它包含多種熱門的函式庫,包括 TensorFlow、Keras 和 XGBoost。 它也支援使用 Horovod 的分散式 TensorFlow 訓練。 Databricks Runtime 5.0 ML 是以 Databricks Runtime 5.0 為基礎而建置。 Databricks Runtime 5.0 ML 還包括以下新功能:
- HorovodRunner 用於使用 Horovod 執行分散式深度學習訓練作業。 請參閱分散式訓練。
- Conda 支援套件管理。
- MLeap 整合。
- GraphFrames 整合。
請參閱 Databricks Runtime 5.0 ML (EoS) 的完整版本資訊。
Databricks Runtime 5.0 版本
2018 年 11 月 8 日
Databricks Runtime 5.0 現已正式發行。 Databricks Runtime 5.0 包括 Apache Spark 2.4.0、新的 Delta Lake 和結構化串流功能和升級,以及升級的 Python、R、Java 和 Scala 程式庫。 如需詳細資訊,請參閱 Databricks Runtime 5.0 (EoS)。
在 Databricks Runtime 5.0 上,一旦叢集達到內容上限(145),Azure Databricks 現在會收回閑置的執行內容。
displayHTML
支援無限載入協力廠商內容
2018 年 11 月 6 日至 13 日:2.84 版
先前 displayHTML
iframe 遺漏會遺漏 allow-same-origin 屬性。 這表示 iframe 具有 Null 原始來源,這對跨原始來源 XHR 要求、Cookie 或存取內嵌 iframe 並不太友好。 在此版本中,displayHTML
iframe 會從新的網域 databricksusercontent.com
提供,而 iframe 沙盒現在會包含 allow-same-origin
屬性。
如果 displayHTML 已經適用於您,則無需改變其使用方式。
databricksusercontent.com
將需要可從您的瀏覽器存取。 如果公司網路目前對其進行封鎖,需要由 IT 人員將其列入允許清單。