Декабрь 2019 г.
Эти функции и улучшения платформы Azure Databricks были выпущены в декабре 2019 г.
Примечание.
Выпуски являются поэтапными. Ваша учетная запись Azure Databricks может быть обновлена только через неделю или более после первоначальной даты выпуска.
Databricks Connect теперь поддерживает Databricks Runtime 6.2
17 декабря 2019 г.
Databricks Connect теперь поддерживает Databricks Runtime 6.2.
Настройка кластеров с помощью собственного образа контейнера в службах контейнеров Databricks (общедоступная версия)
16 декабря 2019 г.: версия 3.7
Службы контейнеров, общедоступные в Databricks Runtime 6.1 и на платформе Azure Databricks 3.7, позволяют настроить кластер с помощью собственного образа контейнера. Вы можете предварительно упаковать сложную среду в контейнер и опубликовать его в популярном реестре контейнеров, таком как ACR, ECR или Docker Hub, а затем Azure Databricks извлечет этот образ для создания кластера. Вот некоторые из вариантов использования:
- Настройка библиотек: вы полностью контролируете системные библиотеки, которые хотите установить.
- Оптимальная среда контейнера: образ Docker является заблокированной средой, которая не изменяется.
- Интеграция CI/CD Docker: вы можете интегрировать Azure Databricks с конвейерами непрерывной поставки и непрерывной интеграции (CI/CD).
Существует и много других вариантов использования — от настройки конфигурации до установки пакетов машинного обучения.
Дополнительные сведения см. в разделе "Настройка контейнеров с помощью службы контейнеров Databricks".
Общедоступная версия Databricks Runtime 6.2 для Genomics
3 декабря 2019 г.
В основе Databricks Runtime 6.2 for Genomics лежит Databricks Runtime 6.2. Здесь реализовано множество улучшений и обновлений из Databricks Runtime 6.1 for Genomics, в том числе следующие:
- Логистическая регрессия Ферта
- Пользовательские метрики контроля качества выборки
- Повышение производительности преобразователя канала
- Более высокая надежность создания совместного генотипа
- Упрощенная интеграция с LOFTEE
- Hail 0.26.0
- Samtools 1.9
Соединитель подготовки SCIM Azure Databricks, доступный в коллекции приложений
3 декабря 2019 г.
Теперь, когда соединитель SCIM для предоставления доступа Azure Databricks
Завершается поддержка Databricks Runtime 5.3 и 5.4
3 декабря 2019 г.
Поддержка версий 5.3 и 5.4 завершена 3 декабря. См. статью "Жизненные циклы поддержки Databricks".
Общедоступная версия Databricks Runtime 6.2 ML
3 декабря 2019 г.
Общедоступная версия Databricks Runtime 6.2 ML реализует сразу несколько обновлений библиотек, включая следующие:
- TensorFlow и TensorBoard: с 1.14.0 до 1.15.0.
- PyTorch: с 1.2.0 до 1.3.0.
- tensorboardX: с 1.8 до 1.9.
- MLflow: c 1.3.0 до 1.4.0.
- Hyperopt: 0.2-db1 с интеграциями Azure Databricks MLflow.
- mleap-databricks-runtime до 0.15.0, включая mleap-xgboost-runtime.
Дополнительные сведения см. в полных заметках о выпуске Databricks Runtime 6.2 для ML (EoS ).
Общедоступная версия Databricks Runtime 6.2
3 декабря 2019 г.
В общедоступной версии Databricks Runtime 6.2 реализованы новые функции, усовершенствования и исправления ошибок, в том числе:
- Оптимизированное слияние для вставки без изменений в Delta Lake.
Дополнительные сведения см. в полных заметках о выпуске Databricks Runtime 6.2 (EoS ).
Databricks Connect теперь поддерживает Databricks Runtime 6.1
3 декабря 2019 г.
Databricks Connect теперь поддерживает Databricks Runtime 6.1. Databricks Connect позволяет подключать интегрированную среду разработки (IntelliJ, Eclipse, PyCharm, RStudio, Visual Studio), сервер записных книжек (Zeppelin, Jupyter) и другие пользовательские приложения к кластерам Azure Databricks и запускать код Apache Spark.