2019 октября

Эти функции и улучшения платформы Azure Databricks стали доступны в октябре 2019 г.

Примечание.

Выпуски являются поэтапными. На обновление вашей учетной записи Azure Databricks может потребоваться до одной недели с даты выпуска.

Метрики поддержки, перемещенные в Центры событий Azure

22–29 октября 2019 г.

Метрики поддержки, позволяющие Azure Databricks отслеживать работоспособность кластера, перенесены из хранилища BLOB-объектов Azure в конечные точки Центров событий. Благодаря этому Azure Databricks может предоставлять ответы с меньшими задержками для разрешения инцидентов, произошедших у клиентов. Для рабочих областей внедрения виртуальной сети мы добавили дополнительное правило в группу безопасности сети для конечной точки службы EventHub. Подробные сведения доступны в таблице правил группы безопасности сети . Для непрерывной доступности служб никаких действий не требуется.

Список метрик поддержки Azure Databricks по регионам, включая конечные точки Центров событий, можно найти в разделе , который охватывает хранилище метаданных, хранилище BLOB-объектов артефактов, хранилище системных таблиц, хранилище BLOB-объектов журналов и IP-адреса конечных точек Центров событий.

Сквозная передача учетных данных Azure Data Lake Storage в стандартных кластерах и Scala теперь общедоступна

22–29 октября 2019 г.: версия 3.5

Транзитная передача учетных данных для Python, SQL и Scala в стандартных кластерах Databricks Runtime 5.5 и более поздних версий, а также для SparkR в Databricks Runtime 6.0 и более поздних версий стала общедоступной. См. статью Включение транзитной передачи учетных данных Azure Data Lake Storage для стандартного кластера.

Общедоступная версия Databricks Runtime 6.1 для Genomics

22 октября 2019 г.

Выпущена общедоступная версия Databricks Runtime 6.1 for Genomics.

Общедоступная версия Databricks Runtime 6.1 для Машинного обучения

22 октября 2019 г.

Выпущена общедоступная версия Databricks Runtime 6.1 ML. Она включает поддержку кластеров GPU и обновлений до следующих библиотек машинного обучения:

• TensorFlow — до версии 1.14.0
• PyTorch — до версии 1.2.0
• Torchvision — до версии 0.4.0
• MLflow — до версии 1.3.0

Дополнительные сведения см. в полных заметках о выпуске Databricks Runtime 6.1 для ML (EoS ).

Частота вызовов API MLflow теперь ограничена

22–29 октября 2019 г.: версия 3.5

Для поддержания высокого качества обслуживания при высокой нагрузке в Azure Databricks теперь применяются ограничения скорости для всех вызовов API MLflow. Ограничения устанавливаются для каждой учетной записи, чтобы обеспечить справедливое использование и высокий уровень доступности для всех организаций, имеющих общий доступ к рабочей области.

Клиенты MLflow с автоматическими повторными попытками доступны в MLflow 1.3.0 и находятся в Databricks Runtime 6.1 для машинного обучения (EoS). Мы рекомендуем всем клиентам перейти на последнюю версию клиента MLflow.

Дополнительные сведения см. в разделе API экспериментов.

Пулы экземпляров для быстрого запуска кластера теперь общедоступны

22–29 октября 2019 г.: версия 3.5

Функция Azure Databricks, которая поддерживает подключение кластера к предопределенному пулу бездействующих экземпляров, теперь общедоступна.

Azure Databricks не взимает плату (DBU), пока экземпляры остаются в пуле и бездействуют. Но к ним применяется оплата, предусмотренная поставщиком экземпляров. См. сведения о ценах.

Дополнительные сведения см . в справочнике по конфигурации пула.

Общедоступная версия Databricks Runtime 6.1

16 октября 2019 г.

Databricks Runtime 6.1 предоставляет несколько улучшений для Delta Lake:

• Простое преобразование таблиц в формат Delta Lake
• API Python для разностных таблиц (общедоступная предварительная версия)
• Включенное по умолчанию динамическое удаление файлов (DFP)

Databricks Runtime 6.1 также устраняет некоторые ограничения для транзитной передачи учетных данных.

Примечание.

Начиная с выпуска 6.1 Databricks Runtime поддерживает только кластеры ЦП. Для кластеров GPU необходимо использовать Databricks Runtime ML.

Дополнительные сведения см. в полных заметках о выпуске Databricks Runtime 6.1 (EoS ).

Общедоступная версия Databricks Runtime 6.0 для Genomics

16 октября 2019 г.

Databricks Runtime for Genomics (Databricks Runtime Genomics) — это версия Databricks Runtime, оптимизированная для работы с геномными и биомедицинскими данными. Начиная с выпуска 6.0 среда выполнения Databricks для Genomics общедоступна.

Возможность развертывания рабочей области Azure Databricks в собственной виртуальной сети, также называемой внедрением виртуальной сети, является общедоступной версией.

9 октября 2019 г.

Мы рады сообщить о том, что стала общедоступной возможность развертывания рабочей области Azure Databricks в вашей собственной виртуальной сети (так называемое “внедрение виртуальной сети”). Этот вариант предназначен тем, кому требуется настройка сети и не подходит виртуальная сеть по умолчанию, создаваемая в процессе стандартного развертывания рабочей области Azure Databricks. Внедрение виртуальной сети позволяет:

• подключить Azure Databricks к другим службам Azure (например, службе хранилища Azure) более безопасным образом, используя конечные точки службы;
• подключить к локальным источникам данных для использования с Azure Databricks, используя преимущества определяемых пользователем маршрутов;
• Подключите Azure Databricks к виртуальному устройству сети для проверки всего исходящего трафика и выполнения действий в соответствии с правилами разрешения и запрета.
• настроить использование пользовательских DNS-серверов в Azure Databricks;
• настроить правила группы безопасности сети (NSG), чтобы указать определенные ограничения исходящего трафика;
• развернуть кластеры Azure Databricks в существующей виртуальной сети.

Развертывание Azure Databricks в собственной виртуальной сети также позволяет воспользоваться преимуществами гибких диапазонов CIDR (/16–/24 — для виртуальной сети и до /26 — для подсетей).

Настройка через интерфейс портала Azure выполняется быстро и легко: при создании рабочей области просто выберите «Развернуть рабочую область Azure Databricks ввашей виртуальной сети», выберите виртуальную сеть и укажите CIDR-диапазоны для двух подсетей. Azure Databricks обновляет виртуальную сеть, добавляя две новые подсети и группы безопасности сети, что обеспечивает доступ к входящему и исходящему трафику подсети и позволяет развернуть рабочую область в обновленной виртуальной сети.

Если вы хотите самостоятельно настроить виртуальную сеть для внедрения (например, использовать существующие подсети или группы безопасности сети либо создать собственные правила безопасности), вместо пользовательского интерфейса портала вы можете задействовать шаблоны ARM от Azure Databricks.

Примечание.

Если вы принимали участие в тестировании предварительной версии внедрения виртуальной сети, то, чтобы по-прежнему получать поддержку, необходимо до 31 января 2020 г. обновить предварительную версию рабочей области до общедоступной.

Дополнительные сведения см. в статьях Развертывание Azure Databricks в виртуальной сети Azure (внедрение виртуальной сети) и Подключение рабочей области Azure Databricks к локальной сети.

Пользователи Azure Databricks без прав администратора могут считывать имена и идентификаторы пользователей и групп с помощью API SCIM

8–15 октября 2019 г.: версия 3.4

Теперь пользователи, не являющиеся администраторами, могут вызывать конечные точки API групп "Получить пользователей" и "Получить группы", чтобы просматривать только отображаемые имена и идентификаторы пользователей и групп. Для всех остальных операций API SCIM по-прежнему требуется доступ администратора.

API рабочей области возвращает идентификаторы объектов для записных книжек и папок

8–15 октября 2019 г.: версия 3.4

Теперь get-status и list конечные точки API рабочей области возвращают идентификаторы записных книжек и папок, что дает возможность ссылаться на эти объекты в других вызовах API.

Общедоступная версия Databricks Runtime 6.0 ML

4 октября 2019 г.

Databricks Runtime 6.0 ML включает следующие обновления:

• MLflow
  • Новый источник данных Spark для экспериментов MLflow теперь предоставляет стандартный API для загрузки данных выполнения экспериментов MLflow.
  • Добавлен клиент Java для MLflow
  • MLflow теперь считается библиотекой верхнего уровня
• Общедоступная версия Hyperopt: к важным улучшениям в ней относятся: возможность ведение журнала MLflow в рабочих областях Spark, правильная обработка переменных вещания PySpark, а также новое руководство по выбору модели с помощью Hyperopt.
• Обновленные библиотеки Horovod и MLflow и распространение Anaconda.

Примечание.

В этом выпуске поддерживаются только кластеры ЦП.

Дополнительные сведения см. в полных заметках о выпуске Databricks Runtime 6.0 для машинного обучения (EoS ).

Новые регионы: Южная Бразилия и Центральная Франция

1 октября 2019 г.

Azure Databricks теперь доступна в Южной Бразилии (штат Сан-Паулу) и Центральной Франции (Париж).

Общедоступная версия Databricks Runtime 6.0

1 октября 2019 г.

В Databricks Runtime 6.0 существенно обновлена библиотека и добавлено много новых функций, в том числе:

• Новые API для Scala и Java для команд DML Delta Lake, а также для команд утилит вакуумирования и истории.
• Улучшенный клиент DBFS FUSE для более быстрого и надежного чтения и записи во время обучения модели.
• Поддержка нескольких графиков Matplotlib на одну ячейку записной книжки.
• Обновите python 3.7, а также обновленные numpy, pandas, matplotlib и другие библиотеки.
• Прекращение поддержки Python 2.

Примечание.

В этом выпуске поддерживаются только кластеры ЦП.

Дополнительные сведения см. в полных заметках о выпуске Databricks Runtime 6.0 (EoS ).