Поделиться через


Ноябрь 2018 г.

Эти функции и улучшения платформы Azure Databricks были выпущены в ноябре 2018 г.

Примечание.

Выпуски являются поэтапными. На обновление вашей учетной записи Azure Databricks может потребоваться до одной недели с даты выпуска.

Пользовательский интерфейс библиотеки

Внимание

Это обновление было отменено 7 декабря 2018 г.

27 ноября — 4 декабря 2018 г., версия 2.85

В этом выпуске пользовательский интерфейс библиотеки был значительно улучшен.

Пользовательский интерфейс Azure Databricks теперь поддерживает библиотеки рабочих областей и библиотеки, подключенные к кластеру. Библиотека рабочей области существует в Рабочей области и может быть подключена к одному или нескольким кластерам. Библиотека, подключенная к кластеру, — это библиотека, которая существует только в контексте кластера, к которому она подключена. Дополнительно:

  • Теперь можно создать библиотеку из файла, переданного в хранилище объектов.
  • Теперь можно присоединять и отсоединять библиотеки на странице сведений о библиотеке и на вкладке "Библиотеки кластера".
  • Библиотеки, установленные с помощью API, теперь отображаются на вкладке "Библиотеки кластера".

Включены пользовательские параметры памяти для кучи Spark

27 ноября — 4 декабря 2018 г., версия 2.85

Следующие параметры памяти Spark теперь вступают в силу:

  • spark.executor.memory
  • spark.driver.memory

Внимание

  • На Azure Databricks имеются службы, работающие на каждом узле, поэтому максимально допустимая память для Spark меньше, чем объем памяти виртуальной машины по отчетам поставщика облачных услуг. Если вы хотите предоставить Spark максимальный объем динамической памяти для исполнителя или драйвера, не указывайте spark.executor.memory или spark.driver.memory, соответственно.
  • Некоторые конфигурации кластера, которые ранее были недопустимыми, но проигнорированы, могут привести к сбоям кластера.

Вытеснение контекста выполнения заданий и бездействия

27 ноября — 4 декабря 2018 г., версия 2.85

Задания теперь автоматически исключают контексты выполнения простоя. Чтобы максимально снизить автоматическое исключение, на Azure Databricks рекомендуется использовать разные кластеры для заданий и интерактивных рабочих нагрузок.

Выпуск Databricks Runtime 5.0 для Машинного обучения (бета-версия)

19 ноября 2018 г.

Databricks Runtime 5.0 ML (бета-версия) предоставляет готовую среду для машинного обучения, обработки и анализа данных. Она содержит много популярных библиотек, включая TensorFlow, Keras и XGBoost. Она также поддерживает распределенное обучение TensorFlow с использованием Horovod. В основе Databricks Runtime 5.0 ML лежит Databricks Runtime 5.0. Databricks Runtime 5.0 ML содержит следующие новые функции:

  • HorovodRunner для запуска распределенных заданий глубокого обучения с помощью Horovod. См. Распределенное обучение.
  • Поддержка Conda для управления пакетами.
  • Интеграция MLeap.
  • Интеграция GraphFrames.

См. полные заметки о выпуске Databricks Runtime 5.0 ML (EoS).

Выпуск Databricks Runtime 5.0

8 ноября 2018 г.

Databricks Runtime 5.0 теперь доступна. Databricks Runtime 5.0 включает в себя Apache Spark 2.4.0, новые возможности и обновления Delta Lake и структурированной потоковой передачи, а также обновленные библиотеки Python, R, Java и Scala. Дополнительные сведения см. в разделе Databricks Runtime 5.0 (EoS).

В Databricks Runtime 5.0 Azure Databricks теперь удаляет неактивные контексты выполнения, когда кластер достигает максимального лимита контекстов (145).

displayHTML поддержка неограниченной загрузки стороннего содержимого

6—13 ноября, 2018 г., версия 2.84

Ранее в песочнице IFRAME displayHTML отсутствовал атрибут allow-same-origin. Это означало, что IFRAME имел нулевой источник, который не поддерживал XHR-запросы разных источников, файлы cookie или доступ к внедренным IFRAME. В этом выпуске IFRAME displayHTML обслуживается из нового домена databricksusercontent.com, а песочница IFRAME теперь включает атрибут allow-same-origin.

Нет необходимости изменять использование displayHTML, если оно уже работает.

databricksusercontent.com должен быть доступным из браузера. Если он заблокирован в вашей корпоративной сети, ИТ-отдел должен внести его в список разрешений.