Поделиться через

Июнь 2020 г.

  • Статья

Эти функции и доработки платформы Azure Databricks были выпущены в июне 2020 г.

Примечание.

Выпуски являются поэтапными. На обновление вашей учетной записи Azure Databricks может потребоваться до одной недели с даты выпуска.

Databricks Connect теперь поддерживает Databricks Runtime 6.6

26 июня 2020 г.

Databricks Connect теперь поддерживает Databricks Runtime 6.6.

Общедоступная версия Databricks Runtime 7.0 ML

22 июня 2020 г.

Компонент Databricks Runtime 7.0 ML создан на основе Databricks Runtime 7.0 и включает следующие новые функции:

  • Библиотеки Python с областью действия записной книжки и пользовательские среды, управляемые командами conda и pip.
  • Обновления для основных пакетов Python, включая tensorflow, tensorboard, pytorch, xgboost, sparkdl и hyperopt.
  • Недавно добавленные пакеты Python lightgbm, nltk, petastorm и plotly.
  • RStudio Server 1.2 (выпуск с открытым кодом).

Дополнительные сведения см. в полных заметках о выпуске Databricks Runtime 7.0 ML (EoS).

Databricks Runtime 7.0 (общедоступная версия) на базе Apache Spark 3.0

18 июня 2020 г.

Databricks Runtime 7.0 работает на базе Apache Spark 3.0 и теперь поддерживает Scala 2.12.

В Spark 3.0 реализовано множество дополнительных функций и усовершенствований. Вот некоторые из них:

  • Адаптивное выполнение запросов, гибкая платформа для адаптивного выполнения в Spark SQL и поддержка изменения числа редукторов во время выполнения.
  • Переработанные пользовательские функции pandas с указаниями типов.
  • Пользовательский веб-интерфейс структурированной потоковой передачи.
  • Улучшенная совместимость со стандартами SQL ANSI.
  • Подсказки присоединения.

В Databricks Runtime 7.0 добавлены перечисленные ниже возможности.

  • Улучшен Автозагрузчик, который реализует добавочную обработку новых файлов данных по мере их поступления в облачное хранилище BLOB-объектов во время операций извлечения, преобразования и загрузки.
  • Улучшенная команда COPY INTO для загрузки данных в Delta Lake с идемпотентными повторными попытками.
  • Множество улучшений, дополнений и обновлений библиотек, а также исправлений ошибок.

Дополнительные сведения см. в полных заметках о выпуске Databricks Runtime 7.0 (EoS ).

Общедоступная версия Databricks Runtime 7.0 для Genomics

18 июня 2020 г.

Компонент Databricks Runtime 7.0 для Genomics создан на основе Databricks Runtime 7.0 и включает следующие изменения библиотеки:

  • Библиотека ADAM обновлена с версии 0.30.0 до 0.32.0.
  • Библиотека Hail не включена в состав Databricks Runtime 7.0 for Genomics, так как отсутствует выпуск на основе Apache Spark 3.0.

Зависящие от этапа элементы управления доступом для моделей MLflow

16–23 июня 2020 г.: версия 3.22

Теперь можно назначить элементы управления доступом, зависящие от этапа, пользователям или группам, позволяя им управлять моделями MLflow, зарегистрированными в реестре моделей MLflow на этапе промежуточной или рабочей среды. Мы представили два новых уровня разрешений, CAN MANAGE STAGING VERSIONS и CAN MANAGE PRODUCTION VERSIONS. Пользователи с этими разрешениями могут выполнять переходы между этапами, разрешенными для данного уровня.

Дополнительные сведения см. в разделе ACL модели MLflow.

В Записных книжках теперь поддерживается отключение автоматической прокрутки

16–23 июня 2020 г.: версия 3.22

При запуске ячейки записной книжки с помощью сочетания клавиш SHIFT+ВВОД по умолчанию выполняется автоматическая прокрутка к следующей ячейке записной книжки, если ячейка не видна. Теперь можно отключить автоматическую прокрутку в Значок параметров пользователя>параметрах редактора >параметров пользователя. Если отключить автоматическую прокрутку, при нажатии клавиш SHIFT+ВВОД фокус перемещается к следующей ячейке, но записная книжка к ней не прокручивается.

Изменение IP-адресов хранилища метаданных 30 июня 2020 г.

11 июня 2020 г.

Хранилище метаданных по умолчанию для Azure Databricks использует базу данных Azure для MySQL. Все IP-адреса Базы данных Azure для MySQL для хранилищ метаданных Azure Databricks будут изменены 30 июня 2020 г. Если в вашей виртуальной сети развернута рабочая область Azure Databricks, то таблица маршрутизации для этого развертывания может включать IP-адрес хранилища метаданных Azure Databricks либо маршрут к брандмауэру или прокси-устройству со списком доступа, включающим этот адрес. В этом случае обновите таблицы маршрутов и брандмауэры Azure Databricks до 30 июня 2020 г., используя новые IP-адреса MySQL, чтобы избежать сбоев.

Прекращение поддержки Internet Explorer 11 с 15 августа

9 июня 2020 г.

В соответствии с отраслевыми тенденциями, а также для обеспечения стабильной и единообразной работы системы для наших пользователей поддержка Internet Explorer 11 в Azure Databricks будет прекращена 15 августа 2020 г.

Прекращение поддержки Databricks Runtime 6.2

3 июня 2020 г.

Поддержка Databricks Runtime 6.2, Databricks Runtime 6.2 для Машинного обучения и Databricks Runtime 6.2 for Genomics закончилась 3 июня. См. статью "Жизненные циклы поддержки Databricks".

Упрощение и контроль процесса создания кластера с помощью политик кластера (общедоступная предварительная версия)

2–9 июня 2020 г.: версия 3.21

Политики кластера представляют собой настраиваемые администратором шаблоны кластера для многократного использования, которые применяют к атрибутам кластера определенные правила и гарантируют, что создаваемые пользователями кластеры им отвечают. Администратор Azure Databricks теперь может создавать политики кластера и предоставлять пользователям соответствующие разрешения. Благодаря этому улучшается контроль над создаваемыми ресурсами, пользователи получают гибкость, необходимую им для выполнения своей работы, и значительно упрощается процесс создания кластера.

Дополнительные сведения см. в статье "Создание политик вычислений и управление ими".

Конечная точка SCIM Me теперь возвращает ответ, соответствующий SCIM

2–9 июня 2020 г.: версия 3.21

Конечная точка SCIM Me теперь возвращает те же сведения, что и конечная точка /users/{id}, включая такую информацию, как группы и права.

См . API CurrentUser.

Ограничение доступа к Azure Databricks с помощью списков IP-адресов (общедоступная предварительная версия)

1 июня 2020 г.

Рабочие области Azure Databricks теперь можно настроить таким образом, чтобы пользователи подключались к службе только через существующие корпоративные сети с безопасным периметром. Администраторы Azure Databricks могут использовать IP Access List API для создания набора утвержденных IP-адресов, включая списки разрешений и блокировки. Для доступа к веб-приложению и REST API пользователь должен устанавливать входящее подключение с разрешенного IP-адреса, что гарантирует недоступность рабочих областей из общедоступных сетей, например кафе или аэропорта, если только пользователь не работает через VPN.

Для этой функции требуется план "Премиум".

Дополнительные сведения см. в разделе "Настройка списков ip-доступа для рабочих областей".