январь 2019 г.

Эти функции и доработки платформы Azure Databricks были выпущены в январе 2019 г.

Примечание.

Выпуски являются поэтапными. На обновление вашей учетной записи Azure Databricks может потребоваться до одной недели с даты выпуска.

Предстоящее изменение: Python 3 станет по умолчанию при создании кластеров

29 января 2019 г.

Когда платформа Databricks версии 2.91 будет выпущена в середине февраля, версия Python по умолчанию для новых кластеров изменится с Python 2 на Python 3. При этом версия Python для существующих кластеров не изменится. Но если вы уже привыкли создавать новые кластеры с помощью Python 2 по умолчанию, необходимо начать обращать внимание на выбор версии Python.

Выпуск Databricks Runtime 5.2 для Машинного обучения (бета-версия)

24 января 2019 г.

Databricks Runtime 5.2 ML построен на основе Databricks Runtime 5.2 (EoS). Эта версия содержит множество популярных библиотек машинного обучения, включая TensorFlow, PyTorch, keras и XGBoost, а также распределенное обучение TensorFlow с помощью Horovod. Помимо обновлений библиотек с версии Databricks Runtime 5.1 ML, версия Databricks Runtime 5.2 ML включает следующие новые функции:

• GraphFrames теперь поддерживает Pregel API (Python) с оптимизациями производительности Databricks.
• HorovodRunner добавляет:
  • В кластере GPU процессы обучения сопоставляются с GPU, а не с рабочими узлами, что упрощает поддержку типов экземпляров с несколькими GPU. Эта встроенная поддержка позволяет распределять нагрузку по всем GPU на компьютере с несколькими GPU без добавления собственного кода.
  • HorovodRunner.run() теперь возвращает возвращаемое значение из первого процесса обучения.

Полные заметки о выпуске Databricks Runtime 5.2 ML.

Выпуск Databricks Runtime 5.2

24 января 2019 г.

Теперь доступна версия Databricks Runtime 5.2. Databricks Runtime 5.2 включает в себя Apache Spark 2.4.0, новые возможности и обновления Delta Lake и структурированной потоковой передачи, а также обновленные библиотеки Python, R, Java и Scala. Дополнительные сведения см. в разделе Databricks Runtime 5.2 (EoS).

Представление JSON для конфигурации кластера

15–22 января 2019 г.

Страница Конфигурация кластера теперь поддерживает представление JSON:

Представление JSON доступно только для чтения. Однако вы можете скопировать JSON и использовать его для создания и обновления кластеров с помощью API кластеров.

Пользовательский интерфейс кластера

15–22 января 2019 г., версия 2.89

Страница создания кластера была упорядочена и реорганизована для удобства: в частности, добавлен новый переключатель расширенных параметров.

Развертывание Azure Databricks в виртуальной сети Azure (внедрение виртуальной сети)

10 января 2019 г.

Внимание

Эта функция предоставляется в режиме общедоступной предварительной версии.

Развертывание Azure Databricks по умолчанию — это полностью управляемая служба в Azure: все ресурсы плоскости вычислений, включая виртуальную сеть , с которыми будут связаны все кластеры, развертываются в заблокированной группе ресурсов. Однако если требуется настройка сети, теперь можно развернуть Azure Databricks в собственной виртуальной сети (т. н. внедрение виртуальной сети), что позволит:

• подключить Azure Databricks к другим службам Azure (например, службе хранилища Azure) более безопасным образом, используя конечные точки службы;
• подключить к локальным источникам данных для использования с Azure Databricks, используя преимущества определяемых пользователем маршрутов;
• Подключите Azure Databricks к виртуальному устройству сети для проверки всего исходящего трафика и выполнения действий в соответствии с правилами разрешения и запрета.
• настроить использование пользовательских DNS-серверов в Azure Databricks;
• настроить правила группы безопасности сети (NSG), чтобы указать определенные ограничения исходящего трафика;
• развернуть кластеры Azure Databricks в существующей виртуальной сети.

Развертывание Azure Databricks в собственную виртуальную сеть также позволяет воспользоваться преимуществами гибких диапазонов CIDR (в диапазоне /16–/24 для виртуальной сети и /18–/26 для подсетей).

Настройка с помощью пользовательского интерфейса портала Azure выполняется быстро и легко: при создании рабочей области просто выберите Развернуть рабочую область Azure Databricks в виртуальной сети, выберите виртуальную сеть и укажите диапазоны CIDR для двух подсетей. Azure Databricks обновляет виртуальную сеть, добавляя две новые подсети и группы безопасности сети на основе указанных вами диапазонов CIDR, что обеспечивает доступ к входящему и исходящему трафику подсети и позволяет развернуть рабочую область в обновленной виртуальной сети.

Если вы хотите самостоятельно настроить виртуальную сеть для внедрения (например, использовать существующие подсети или группы безопасности сети либо создать собственные правила безопасности), вместо пользовательского интерфейса портала вы можете задействовать шаблоны ARM от Azure Databricks.

Примечание.

Эта функция ранее была доступна только для регистрации. Она сохраняет статус предварительной версии, но теперь доступна только в режиме самообслуживания.

Дополнительные сведения см. в статьях Развертывание Azure Databricks в виртуальной сети Azure (внедрение виртуальной сети) и Подключение рабочей области Azure Databricks к локальной сети.

Пользовательский интерфейс библиотеки

2–9 января 2019 г., версия 2.88

Улучшения пользовательского интерфейса библиотеки, первоначально выпущенные в ноябре 2018 г. и вскоре после этого выпущенные повторно. Эти обновления упрощают передачу, установку библиотек и управление ими для кластеров Azure Databricks.

Пользовательский интерфейс Azure Databricks теперь поддерживает библиотеки рабочих областей и библиотеки, подключенные к кластеру. Библиотека рабочей области существует в рабочей области и может быть установлена в одном или нескольких кластерах. Библиотека, установленная в кластере, — это библиотека, которая существует только в контексте кластера, в котором она установлена. Дополнительно:

• Теперь можно создать библиотеку из файла, переданного в хранилище объектов.
• Теперь можно устанавливать библиотеки и отменять их установку на странице сведений о библиотеке и на вкладке "Библиотеки" кластера.
• Библиотеки, установленные с помощью API, теперь отображаются на вкладке "Библиотеки кластера".

Дополнительные сведения см. в разделе Библиотеки.

События кластера

2–9 января 2019 г., версия 2.88

Добавлены новые события кластера, отражающие состояние драйвера Spark. Дополнительные сведения см. в разделе API кластеров.

Управление версиями записной книжки с помощью Azure DevOps Services

2–9 января 2019 г., версия 2.88

Azure Databricks теперь позволяет легко использовать службы Azure DevOps Services (ранее VSTS) для управления версиями записных книжек. Проверка подлинности выполняется автоматически, процедура установки проста и удобна, и вы управляете изменениями в записных книжках так же, как и при интеграции с GitHub.

Дополнительные сведения см. в разделе "Управление версиями Git" для записных книжек (устаревших версий).