Май 2024 г.

Эти функции и улучшения платформы Azure Databricks были выпущены в мае 2024 года.

Примечание.

Выпуски являются поэтапными. Ваша учетная запись Azure Databricks может быть обновлена только через неделю или более после первоначальной даты выпуска.

Конфигурация бессерверного брандмауэра теперь поддерживает дополнительные типы вычислений

31 мая 2024 г.

Azure Databricks теперь поддерживает настройку брандмауэров для бессерверных заданий, записных книжек, конвейеров Delta Live Tables и доступа к конечным точкам ЦП с помощью конфигураций сетевого подключения (NCCs). Администраторы учетных записей могут создавать сетевые адаптеры и присоединять их к рабочим областям, чтобы обеспечить безопасный и контролируемый доступ через стабильные подсети.

См. раздел "Настройка брандмауэра для бессерверного доступа к вычислительным ресурсам".

Поддержка серии Databricks Runtime 15.0 заканчивается

31 мая 2024 г.

Поддержка Databricks Runtime 15.0 и Databricks Runtime 15.0 для Машинное обучение закончилась 31 мая. См. статью "Жизненные циклы поддержки Databricks".

Databricks Runtime 15.3 (бета-версия)

30 мая 2024 г.

Databricks Runtime 15.3 и Databricks Runtime 15.3 ML теперь доступны в качестве бета-выпусков.

Databricks Runtime 15.3 (EoS) и Databricks Runtime 15.2 для машинного обучения (EoS).

Пользовательский интерфейс метрики вычислений теперь доступен во всех версиях среды выполнения Databricks

30 мая 2024 г.

Пользовательский интерфейс вычислительных метрик был развернут для всех версий среды выполнения Databricks. Ранее эти метрики были доступны только в вычислительных ресурсах, работающих в Databricks Runtime 13.3 и выше. Просмотр метрик вычислений.

Улучшен поиск и фильтрация в таблицах результатов записной книжки и редактора SQL

28 мая 2024 г.

Теперь можно легко искать столбцы и выбирать значения фильтров из раскрывающегося списка существующих значений в таблицах результатов в записных книжках и редакторе SQL.

Новая панель мониторинга помогает поставщикам Databricks Marketplace отслеживать использование списка

28 мая 2024 г.

Новая панель мониторинга Аналитики поставщиков позволяет поставщикам Databricks Marketplace отслеживать просмотры, запросы и установки. Панель мониторинга извлекает данные из системных таблиц Marketplace. См. статью "Мониторинг метрик использования" с помощью панелей мониторинга.

Просмотр системных федеративных запросов в Query Profile

24 мая 2024 г.

Федерация Lakehouse теперь поддерживает просмотр системных федеративных запросов и их метрик в профиле запросов. Щелкните узел проверки федерации в представлении графа, чтобы отобразить запрос, отправленный в источник данных. См. статью "Просмотр системных федеративных запросов".

Исходящие IP-адреса плоскости вычислений необходимо добавить в список разрешенных IP-адресов рабочей области.

24 мая 2024 г.

Если вы используете безопасные списки доступа к кластеру и IP-адреса в рабочей области, необходимо добавить все общедоступные IP-адреса, которые плоскость вычислений использует для доступа к плоскости управления в список разрешений или настроить серверную Приватный канал. Это изменение повлияет на все новые рабочие области 29 июля 2024 г. и существующие рабочие области 26 августа 2024 г. Дополнительные сведения см. в записи сообщества Databricks.

Например, если вы включите безопасное подключение к кластеру в рабочей области, которая использует внедрение виртуальной сети, Databricks рекомендует использовать стабильный общедоступный IP-адрес исходящего трафика. Этот общедоступный IP-адрес и все остальные должны присутствовать в списке разрешений. Ознакомьтесь с IP-адресами исходящего трафика при использовании безопасного подключения к кластеру. Кроме того, если вы используете виртуальную сеть, управляемую Azure Databricks, и вы настраиваете управляемый шлюз NAT для доступа к общедоступным IP-адресам, эти IP-адреса должны присутствовать в списке разрешений.

См . статью "Настройка списков IP-доступа для рабочих областей".

OAuth поддерживается в Федерации Lakehouse для Snowflake

24 мая 2024 г.

Каталог Unity теперь позволяет создавать подключения Snowflake с помощью OAuth. См. статью "Запуск федеративных запросов" в Snowflake.

Массовое перемещение и удаление объектов рабочей области из браузера рабочей области

24 мая 2024 г.

Теперь можно выбрать несколько элементов в рабочей области для перемещения или удаления. При выборе нескольких объектов отображается панель действий и имеет параметры перемещения или удаления элементов. Кроме того, можно выбрать несколько элементов с помощью мыши и перетащить их в новое расположение. Существующие разрешения на объекты по-прежнему применяются во время операций массового перемещения и удаления.

Объекты каталога Unity доступны в последних и избранном

23 мая 2024 г.

Теперь вы можете найти объекты каталога Unity, такие как каталоги и схемы в списке последних версий. Вы также можете выбрать избранные объекты каталога Unity в обозревателе каталогов и браузере схемы и найти избранные объекты на домашней странице рабочей области.

Новый соединитель dbt-databricks 1.8.0 принимает архитектуру dbt с развязанной базой данных

23 мая 2024 г.

Соединитель DBT-Databricks версии 1.8.0 является первой версией для внедрения новой архитектуры dbt с развязанной базой данных. Вместо того чтобы зависеть от dbt-core, чтобы освободить клиентов от необходимости указывать версии для обеих библиотек, соединитель теперь зависит от общего уровня абстракции между адаптером и dbt-core. В результате соединитель больше не должен соответствовать версии компонента Databricks с тем, что dbt-core, и является бесплатным для внедрения семантического управления версиями. Это означает, что разработчикам соединителей больше не нужно выпускать значительные функции, такие как вычисления на модель в качестве исправлений.

Этот выпуск также содержит следующее:

• Улучшения объявления и операции материализованных представлений и потоковых таблиц, включая возможность планирования автоматических обновлений.
• Поддержка тегов защищаемых объектов каталога Unity. Чтобы отличить их от тегов dbt, которые часто используются для выбора моделей в операции dbt, эти теги именуются databricks_tags в конфигурации модели.
• Несколько улучшений производительности обработки метаданных.

Новые API соответствия и параметры безопасности (общедоступная предварительная версия)

23 мая 2024 г.

Databricks представила новые API для профиля безопасности соответствия требованиям, расширенного мониторинга безопасности и параметров автоматического обновления кластера в рабочих областях. См.

• API профиля безопасности соответствия требованиям
• API расширенного мониторинга безопасности
• API автоматического обновления кластера

Databricks Runtime 15.2 — общедоступная версия

22 мая 2024 г.

Databricks Runtime 15.2 и Databricks Runtime 15.2 ML теперь общедоступны.

Databricks Runtime 15.2 (EoS) и Databricks Runtime 15.2 для машинного обучения (EoS).

Новый соединитель Tableau для разностного общего доступа

22 мая 2024 г.

Новый соединитель tableau Delta Sharing упрощает доступ к данным Tableau Desktop, которым вы предоставили общий доступ с помощью протокола открытого общего доступа Delta Sharing. См. таблицу : чтение общих данных.

Новые примеры модели рекомендаций для глубокого обучения

22 мая 2024 г.

Databricks опубликовал два новых примера, иллюстрирующих современные модели рекомендаций глубокого обучения, в том числе двухбашенные модели и DLRM Мета. Дополнительные сведения о моделях рекомендаций глубокого обучения см. в разделе "Обучение моделей рекомендаций".

Привязка учетных данных хранилища и внешних расположений к определенным рабочим областям (общедоступная предварительная версия)

22 мая 2024 г.

Теперь вы можете привязать учетные данные хранилища и внешние расположения к определенным рабочим областям, предотвращая доступ к этим объектам из других рабочих областей. Эта функция особенно полезна при использовании рабочих областей для изоляции доступа к данным пользователей, например при наличии отдельных рабочих областей и рабочих областей разработки или выделенной рабочей области для обработки конфиденциальных данных.

Дополнительные сведения см. в разделе (Необязательно) Назначение внешнего расположения определенным рабочим областям и назначение учетных данных хранилища определенным рабочим областям.

Папки Git — это общедоступная версия

22 мая 2024 г.

Папки Git теперь общедоступны. См . сведения об интеграции с Git для папок Databricks Git. Если вы являетесь пользователем бывшей функции Repos, см. статью "Что случилось с Databricks Repos?".

Предварительно обученные модели в каталоге Unity (общедоступная предварительная версия)

21 мая 2024 г.

Databricks теперь включает в себя выбор высококачественных предварительно обученных моделей GenAI в каталоге Unity. Эти предварительно обученные модели позволяют получить доступ к возможностям искусственного интеллекта для рабочих процессов вывода, что позволяет сэкономить время и затраты на создание собственных пользовательских моделей. См . предварительно обученные модели в каталоге Unity и Marketplace.

Поиск вектора вектора для мозаики — это общедоступная версия

21 мая 2024 г.

Теперь общедоступен поиск векторных векторов мозаики. См . векторный поиск вектора мозаики.

Автозавершение помощника Databricks (общедоступная предварительная версия)

20 мая 2024 г.

Автозавершение Помощника по Databricks предоставляет предложения на основе ИИ в режиме реального времени при вводе в записные книжки, запросы и файлы. Чтобы включить его, перейдите к >и переключите автозавершение Помощника Databricks. Дополнительные сведения см. в разделе автозавершения на основе ИИ.

Поддержка Meta Llama 3 в Обучении моделей Foundation

20 мая 2024 г.

Обучение модели foundation теперь поддерживает Meta Llama 3. Ознакомьтесь с тонкой настройкой модели Foundation.

Новые изменения в пользовательском интерфейсе папки Git

17 мая 2024 г.

Вы можете заметить некоторые изменения в пользовательском интерфейсе для взаимодействия с папкой Git. Мы добавили следующее:

• При совместном использовании папки Git вы увидите новое оповещение в баннере, который предложит копировать ссылку для создания папки Git. При нажатии кнопки URL-адрес копируется в локальный буфер обмена, который можно отправить другому пользователю. Когда пользователь-получатель загружает этот URL-адрес в браузере, пользователь будет доставлен в рабочую область, где можно создать собственную папку Git, клонированную из одного удаленного репозитория Git. Когда получатель обращается к URL-адресу, он увидит диалоговое окно "Создать папку Git" в пользовательском интерфейсе, которое предварительно заполнено значениями, взятыми из папки Git.

  

• Аналогично, при просмотре папки Git, созданной другим пользователем, появится новая кнопка "Создать папку Git". Нажмите эту кнопку, чтобы создать собственную папку Git для одного репозитория Git на основе предварительно заполненных значений в диалоговом окне "Создание папки Git".

  

Обучение модели Foundation (общедоступная предварительная версия)

13 мая 2024 г.

Databricks теперь поддерживает обучение модели Foundation. Используя обучение модели Foundation, вы используете собственные данные для настройки базовой модели для оптимизации производительности конкретного приложения. Путем точной настройки или продолжения обучения базовой модели вы можете обучать собственную модель с помощью значительно меньше данных, времени и вычислительных ресурсов, чем обучение модели с нуля. Обучающие данные, контрольные точки и настраиваемая модель находятся на платформе Databricks и интегрируются с ее средствами управления и производительности.

Дополнительные сведения см. в разделе "Тонкое настройка модели Foundation".

Разрешить пользователям копировать данные в буфер обмена из таблицы результатов

9 мая 2024 г.

Теперь администраторы могут включить или отключить возможность копирования данных в буфер обмена из таблиц результатов. Ранее эта функция была ограничена записными книжками. Теперь этот параметр применяется к следующим интерфейсам:

• Записные книжки
• Панели мониторинга
• Genie Spaces
• Обозреватель каталогов
• Редактор файлов
• Редактор SQL

Значения тегов атрибутов для объектов каталога Unity теперь могут иметь длину 1000 символов (общедоступная предварительная версия)

8 мая 2024 г.

Значения тегов атрибутов в каталоге Unity теперь могут содержать до 1000 символов. Ограничение символов для ключей тегов остается 255. См. раздел "Применение тегов к защищаемым объектам каталога Unity".

Страница "Новые предварительные версии"

8 мая 2024 г.

Включите и управляйте доступом к предварительным версиям Databricks на новой странице предварительных версий. См. статью "Управление предварительными версиями Azure Databricks".

Новые возможности для поиска вектора вектора для мозаики ИИ

8 мая 2024 г.

К новым возможностям относятся следующие возможности:

• Теперь поддерживаются списки IP-доступа.
• Управляемые клиентом ключи (CMK) теперь поддерживаются в конечных точках, созданных 8 мая 2024 г. или после 8 мая 2024 г. Поддержка поиска векторов для CMK доступна в общедоступной предварительной версии.
• Улучшены журналы аудита и отслеживание затрат. См . справочник по журналу диагностики.
• Теперь вы можете сохранить созданные внедрения в виде таблицы Delta. См. статью "Создание векторного индекса поиска".

См . векторный поиск вектора мозаики.

Контроль доступа к таблицам хранилища метаданных и учетных данных не рекомендуется

7 мая 2024 г.

Сквозное руководство по учетным данным и элементы управления доступом к таблицам Hive устарели в Databricks Runtime 15.0, а поддержка будет удалена в предстоящей версии DBR.

Обновите каталог Unity, чтобы упростить безопасность и управление данными, предоставив централизованное место для администрирования и аудита доступа к данным в нескольких рабочих областях в вашей учетной записи. См. статью Что такое Unity Catalog?

Драйвер JDBC Databricks 2.6.38

6 мая 2024 г.

Мы выпустили версию 2.6.38 драйвера JDBC Databricks (скачать). В этом выпуске добавлены следующие новые функции и улучшения:

• Поддержка собственных параметризованных запросов, если сервер использует SPARK_CLI_SERVICE_PROTOCOL_V8. Ограничение количества параметров в запросе находится 256 в собственном режиме запроса.
• Прием данных с помощью поддержки тома Unity Catalog . Дополнительные сведения о Unity Catalog томах см. в разделе "Подключение к облачному хранилищу объектов" с помощью каталога Unity. Чтобы использовать это, задайте для UseNativeQuery1параметра .
• QueryProfile интерфейс, добавленный для IHadoopStatement получения запросов query idприложениями. Его query id можно использовать для получения метаданных запроса с помощью REST API Databricks.
• Асинхронные операции для вызовов Thrift метаданных, если сервер использует SPARK_CLI_SERVICE_PROTOCOL_V9. Чтобы использовать эту функцию, задайте EnableAsyncModeForMetadataOperation для свойства значение 1.
• Поддержка утверждения JWT. Соединитель теперь поддерживает утверждение JWT OAuth с помощью учетных данных клиента. Для этого задайте UseJWTAssertion для свойства значение 1.

В этом выпуске также решены следующие проблемы:

• Обновления библиотек Джексона. Соединитель теперь использует следующие библиотеки для средства синтаксического анализа JSON Джексона: джексон-заметки 2.16.0 (ранее 2.15.2), джексон-core 2.16.0 (ранее 2.15.2), джексон-databind-2.16.0 (ранее 2.15.2)
• Соединитель содержит незамеченные файлы классов в каталоге META-INF.

Поддержка брандмауэра для общедоступной версии учетной записи хранения рабочей области

6 мая 2024 г.

При создании новой рабочей области Azure Databricks учетная запись хранения Azure создается в управляемой группе ресурсов, известной как учетная запись хранения рабочей области. Теперь можно включить брандмауэр для ограничения доступа к учетной записи хранения рабочей области только из авторизованных ресурсов и сетей. См. раздел "Включение поддержки брандмауэра для учетной записи хранения рабочей области".

Databricks Runtime 15.2 (бета-версия)

2 мая 2024 г.

Databricks Runtime 15.2 и Databricks Runtime 15.2 ML теперь доступны в качестве бета-выпусков.

Databricks Runtime 15.2 (EoS) и Databricks Runtime 15.2 для машинного обучения (EoS).

Записные книжки теперь обнаруживают и автоматически заполняют имена столбцов для Spark Connect DataFrames

1 мая 2024 г.

Записные книжки Databricks теперь автоматически обнаруживают и отображают имена столбцов в Spark Connect DataFrames и позволяют использовать автоматическое завершение для выбора столбцов.