2019 年 4 月
這些功能和 Azure Databricks 平台改善功能於 2019 年 4 月發行。
注意
分階段發行。 您的 Azure Databricks 帳戶可能要到初始發行日期後至多一週才會更新。
Azure Databricks 上的 MLflow (GA)
2019 年 4 月 25 日
Azure Databricks 上的受控 MLflow 現已正式推出。 Azure Databricks 上的 MLflow 提供與 Databricks 資訊安全模型和互動式工作區完全整合的託管的 MLflow 版本。 請參閱 使用 MLflow 的 ML 生命週期管理。
Azure Databricks 上的 Delta Lake
2019 年 4 月 24 日
Databricks 已開放 Delta Lake 專案的原始碼。 Delta Lake 是一種儲存層,可藉由透過寫入和快照隔離之間的開放式並行存取,為寫入期間一致的讀取提供 ACID 異動,為 HDFS 和雲端儲存上建置的資料湖帶來可靠性。 Delta Lake 也提供內建的資料版本控制,以便輕鬆回復和重現報表。
注意
先前稱為 Databricks Delta 的項目現在是 Delta Lake 開放原始碼專案,加上 Azure Databricks 上可用的最佳化。 請參閱什麼是 Delta Lake?。
MLflow 執行側邊欄
2019 年 4 月 9 至 16 日:2.95 版
您現在可以檢視 MLflow 執行和筆記本修訂,這些修訂會在筆記本旁邊的側邊欄中執行。 在筆記本右側的側邊欄中,按一下 [實驗] 圖示。
請參閱建立筆記本實驗。
使用 Microsoft Entra ID 認證 (GA) 自動存取 Azure Data Lake Storage Gen1 和 Gen2
2019 年 4 月 9 至 16 日:2.95 版
我們很高興宣布推出從 Azure Databricks 叢集使用您用於登入 Azure Databricks 的相同 Microsoft Entra ID 身分識別至 Azure Data Lake Storage Gen1 和 Gen2 自動驗證正式發行。
輕鬆啟用 Microsoft Entra ID 認證傳遞的叢集,您在該叢集上執行的命令能夠在 Azure Data Lake Storage Gen1 和 Gen2 中讀取及寫入資料,而不需要設定服務主體認證來存取儲存體。
要了解更多資訊,請參閱使用 Microsoft Entra ID 認證傳遞來存取 Azure Data Lake Storage (舊版)。
Databricks Runtime 5.3 (GA)
2019 年 4 月 3 日
Databricks Runtime 5.3 現已正式發行。 Databricks Runtime 5.3 包括新的 Delta Lake 功能和升級,以及升級的 Python、R、Java 和 Scala 程式庫。
主要升級包括:
- Databricks Delta 時間旅行 GA
- MySQL 數據表復寫至 Delta、公開預覽
- 深度學習工作負載的最佳化 DBFS FUSE 資料夾
- 筆記本範圍的程式庫改善
- 新的 Databricks 顧問提示
如需詳細資訊,請參閱 Databricks Runtime 5.3 (EoS)。
Databricks Runtime 5.3 ML (GA)
2019 年 4 月 3 日
透過針對機器學習的 Databricks Runtime 5.3,我們已成功達成 Databricks Runtime ML 的第一個 GA! Databricks Runtime ML 為機器學習和資料科學提供完備環境。 其建立在 Databricks Runtime 上,且新增許多熱門的機器學習程式庫,包括 TensorFlow、PyTorch、Keras 和 XGBoost。 其也支援使用 Horovod 的分散式訓練。
此版本是以 Databricks Runtime 5.3 為基礎建置,其中包含其他程式庫、一些不同的程式庫版本,以及適用於 Python 程式庫的 Conda 套件管理。 Databricks Runtime 5.2 ML 搶鮮版 (Beta) 以來的主要新功能包括:
MLlib 與 MLflow (個人預覽版)的整合,可為使用 PySpark 微調演算法
CrossValidator
和TrainValidationSplit
的模型提供 MLflow 執行的自動記錄。如果您想要參與預覽,請連絡 Databricks 帳戶團隊。
升級至 PyArrow、Horovod 和 TensorboardX 程式庫。
PyArrow 更新會在您執行以箭頭為基礎的轉換時新增使用
BinaryType
的功能,並在 pandas UDF 中提供該功能。
如需進一步資訊,請參閱 Databricks Runtime 5.3 ML (EoS)。 建立 Databricks Runtime ML 叢集的指示,請參閱 Databricks 上的 AI 和機器學習 (機器翻譯)。