Поделиться через

Август 2020 г.

  • Статья

Эти функции и улучшения платформы Azure Databricks были выпущены в августе 2020 г.

Примечание.

Выпуски являются поэтапными. На обновление вашей учетной записи Azure Databricks может потребоваться до одной недели с даты выпуска.

Внимание

Версия 3.26 была выпущена для клиентов только в центральных регионах Канады и Индии. Всем остальным регионам будут предоставлены функции версии 3.26 в то же время, когда будет выпущена версия 3.27.

API управления токенами предоставляется в общедоступной версии. Администраторы могут использовать консоль администрирования для предоставления и отзыва доступа к токенам для пользователей.

26 августа — 1 сентября 2020 г.: версия 3.27

Управление маркерами теперь является общедоступным. Token Management API и консоль администрирования теперь позволяют администраторам Azure Databricks управлять личными маркерами доступа пользователей Azure Databricks. Администратор может выполнять следующие действия:

  • Отслеживание и отзыв личных маркеров доступа пользователей.
  • Управление временем существования будущих маркеров в своей рабочей области.
  • Контроль за тем, какие именно пользователи могут создавать и использовать маркеры, с помощью Permissions API или консоли администрирования.

В переходе от общедоступной предварительной версии к общей доступности, параметр created_by API управления маркерами был изменен на created_by_id, а также был добавлен новый параметр created_by_username.

Дополнительные сведения см. в статье "Мониторинг и отзыв личных маркеров доступа".

Ограничения на размер сообщений для приложений Shiny расширены.

26 августа — 1 сентября 2020 г.: версия 3.27

Максимальный размер приложения для приложений Shiny увеличился с 10 МБ до 20 МБ. Если общий размер приложения превышает это ограничение, ознакомьтесь с рекомендациями в разделе Часто задаваемые вопросы о Shiny.

Улучшены инструкции по настройке кластера в локальном режиме.

26 августа — 1 сентября 2020 г.: версия 3.27

В пользовательском интерфейсе кластера:

  • Если вы создаете кластер с 0 рабочими ролями, появится всплывающая подсказка с рекомендацией использовать локальный режим и отображение связанного параметра конфигурации (spark.master local[*]).
  • Больше нельзя задать для кластера значение spark.master local[*], если только кластер не имеет 0 рабочих ролей.

Возможность просмотра версии записной книжки, связанной с запуском.

26 августа — 1 сентября 2020 г.: версия 3.27

На боковой панели "Эксперименты" теперь можно отобразить версию записной книжки, связанной с запуском. Дополнительные сведения см. в разделе Просмотр эксперимента записной книжки.

Databricks Runtime 7.2 (общедоступная версия)

20 августа 2020 г.

В Databricks Runtime 7.2 реализовано множество дополнительных функций и усовершенствований по сравнению с Databricks Runtime 7.1, в том числе:

  • Автозагрузчик является общедоступным: автозагрузчик — это эффективный метод инкрементного приема большого числа файлов в Delta Lake. Теперь она общедоступна и добавляет следующие функции:
    • Режим вывода списка каталогов: автозагрузчик добавляет новый режим списка каталогов, помимо существующего режима уведомления о файлах, позволяя определить, появились ли новые файлы.
    • API управления облачными ресурсами: теперь можно использовать API Scala для управления облачными ресурсами, созданными с помощью автозагрузчика. С помощью этого API можно создать список служб уведомлений и удалить определенные службы уведомлений.
    • Параметр ограничения скорости: теперь можно использовать параметр cloudFiles.maxBytesPerTrigger для ограничения объема данных, обрабатываемых в каждом микропакете.
    • Проверка параметров: автозагрузчик теперь проверяет указанные вами параметры. validation произойдет сбой. Чтобы пропустить проверку параметров, задайте для параметра cloudFiles.validateOptions значение false.
  • Простое и быстрое копирование таблицы Delta с помощью клонирования.
  • Улучшения:
    • Соединитель Snowflake обновлен до версии 2.8.1, которая включает поддержку Spark 3.0.
    • Усовершенствования сквозной передачи учетных данных
    • Усовершенствования TensorBoard
    • Обновленные библиотеки Python и R

Дополнительные сведения см. в полных заметках о выпуске Databricks Runtime 7.2 (EoS ).

Databricks Runtime 7.2 ML (общедоступная версия)

20 августа 2020 г.

Databricks Runtime 7.2 для машинного обучения создана на основе Databricks Runtime 7.2 и имеет новые и улучшенные системные библиотеки и библиотеки Python. Дополнительные сведения см. в полных заметках о выпуске Databricks Runtime 7.2 (EoS ).

Databricks Runtime 7.2 Genomics (общедоступная версия)

20 августа 2020 г.

Databricks Runtime 7.2 для Genomics создана на основе Databricks Runtime 7.2 и значительно ускоряет преобразование литерала numpy 1D и 2D с плавающей запятой ndarrays в массивы Java. Использование отражено в документации по обучению взаимосвязей на уровне генома Glow.

API разрешений (общедоступная предварительная версия)

18 августа 2020 г.

Databricks анонсирует общедоступную предварительную версию разрешений API, которая позволяет управлять разрешениями для таких элементов:

  • Токены
  • Кластеры
  • Пулы
  • Работы
  • Записные книжки
  • Папки (каталоги)
  • Зарегистрированные модели MLflow

Дополнительные сведения см. в разделе API разрешений.

Databricks Connect 7.1 (общедоступная версия)

12 августа 2020 г.

Databricks Connect теперь поддерживает Databricks Runtime 7.1.

В Databricks Runtime 7.1 рекомендуется всегда использовать последнюю версию Databricks Connect.

Повторяемый порядок установки библиотек кластера

12-25 августа 2020 г.: версия 3.26

В кластере, работающем с Databricks Runtime 7.2 или более поздней версии, Azure Databricks теперь обрабатывает все библиотеки кластера в том порядке, в котором они были установлены.

Создание модели на странице зарегистрированных моделей MLflow (общедоступная предварительная версия)

12-25 августа 2020 г.: версия 3.26

Теперь можно создать новую модель на странице зарегистрированных моделей MLflow. Подробные сведения см. в разделе Создание новой зарегистрированной модели и назначение ей запротоколированной модели.

Службы контейнеров Databricks поддерживают образы GPU

12-25 августа 2020 г.: версия 3.26

Теперь вы можете использовать Службы контейнеров Databricks в кластерах с GPU для создания переносимых сред глубокого обучения с настраиваемыми библиотеками.

Дополнительные сведения см. в разделе Databricks Container Services на вычислительных ресурсах GPU.