Июль 2022

Эти функции и улучшения платформы Azure Databricks были выпущены в июле 2022 г.

Примечание.

Выпуски являются поэтапными. Ваша учетная запись Azure Databricks может быть обновлена только через неделю или более после первоначальной даты выпуска.

Databricks Runtime 11.1 и Databricks Runtime 11.1 для ML предоставляются в общедоступной версии

27 июля 2022 г.

Databricks Runtime 11.1 и Databricks Runtime ML 11.1 теперь являются общедоступными.

См. статью Databricks Runtime 11.1 (EoS) и Databricks Runtime 11.1 для Машинное обучение (EoS).

Photon предоставляется в общедоступной версии

27 июля 2022 г.

Photon теперь предоставляется в общедоступной версии начиная с Databricks Runtime 11.1.

Photon — это собственный векторизованный обработчик запросов Azure Databricks, призванный обеспечить прямую совместимость с API Apache Spark для работы с существующим кодом. Он создан на языке C++, что позволяет пользоваться преимуществами современного оборудования и применять новейшие методики векторизованной обработки запросов. Это повышает производительность реальных данных и приложений благодаря повышенному уровню параллелизма на уровне данных и инструкций в ЦП — и все это за счет собственных возможностей озера данных.

Photon является частью высокопроизводительной среды выполнения, которая ускоряет работу с существующими вызовами SQL и API кадров данных и сокращает совокупную стоимость рабочей нагрузки. Photon используется по умолчанию в хранилищах SQL Databricks.

См. раздел Photon предоставляется в общедоступной версии в заметках о выпуске Databricks Runtime 11.1.

Уведомление после завершения записной книжки

27 июля – 15 августа 2022 г.

Если вы вышли из записной книжки во время ее выполнения, по завершении ее работы появится уведомление. Вы можете включить или отключить эти уведомления в браузере.

Увеличение ограничения количества заданий в рабочих областях Azure Databricks

19–22 июля 2022 г.

Теперь вы можете создать до 10 000 заданий в рабочей области Azure Databricks при включении переключателя Увеличенное количество заданий в консоли администрирования Azure Databricks. Эта функция также включает список заданий с разбивкой на страницы, если просматривать задания в пользовательском интерфейсе заданий, уменьшая время, необходимое для загрузки представления списка заданий.

Databricks рекомендует API заданий 2.1, если вы включите увеличенный предел заданий. Использование API заданий версии 2.0 приводит к снижению производительности при возврате большого количества заданий.

Подробные журналы аудита теперь записываются при выполнении запросов SQL Databricks

14 июля 2022 г.

Теперь вы можете настроить журналы аудита для записи при выполнении SQL-запросов Databricks. Для этого используйте параметр конфигурации рабочей области Verbose audit logs (Подробные журналы аудита). Подробные журналы аудита см. в разделе "Включение подробных журналов аудита". Доступна одна запись журнала аудита для отправки запроса и другая запись для выполнения запроса (включая отмену).

Если для вашей рабочей области уже были включены подробные журналы аудита для регистрации команд записной книжки, ваши подробные журналы аудита теперь автоматически будут включать SQL-запросы Databricks для рабочей области.

Драйвер Databricks JDBC 2.6.27

11 июля 2022 г.

Мы выпустили версию 2.6.27 драйвера JDBC Databricks (скачать). В этом выпуске обновлены версии сторонних библиотек, например Apache Arrow 7.0.0. Этот выпуск также содержит обновления для файла лицензии и руководства по установке конфигурации.

Кроме того, в этом выпуске устранены следующие проблемы:

• В некоторых случаях, когда HTTP-подключение активно в течение длительного периода времени, соединитель возвращает ошибку NoHttpResponseException.
• В некоторых случаях незатененные классы Log4j в JAR-файле соединителя конфликтуют с файлами, развернутыми в среде конечного пользователя. Незатененные классы удалены из JAR-файла соединителя.
• При использовании класса DataSource имена подпротоколов указываются неправильно.

Драйвер ODBC Databricks 2.6.25

11 июля 2022 г.

Мы выпустили версию 2.6.25 драйвера ODBC для Databricks (скачать). В этом выпуске добавлена поддержка настройки соединителя для устранения проблем с операциями скачивания файлов результатов разброса.

Databricks Runtime 11.1 (бета-версия)

8 июля 2022 г.

Databricks Runtime 11.1, 11.1 Photon и 11.1 ML теперь доступны в виде бета-версий.

Полные заметки о выпуске в Databricks Runtime 11.1 (EoS) и Databricks Runtime 11.1 для Машинное обучение (EoS).

Улучшенные визуализации записных книжек

5–11 июля 2022 г.: версия 3.75

Встроенная поддержка диаграмм и визуализаций в записных книжках теперь поддерживает несколько диаграмм и профилей данных. При запуске ячейки SQL в записной книжке или использовании функции display в кадре данных записная книжка отображает вкладки с результатами, аналогичные результатам, отображаемым в Databricks SQL. Теперь вы можете создавать в записной книжке те же полнофункциональные визуализации, которые можно создать в Databricks SQL. Дополнительные сведения см. в разделе "Визуализации" в записных книжках Databricks.