Февраль 2024 г.
Эти функции и улучшения платформы Azure Databricks были выпущены в феврале 2024 года.
Примечание.
Выпуски являются поэтапными. Ваша учетная запись Azure Databricks может быть обновлена только через неделю или более после первоначальной даты выпуска.
Использование Delta Live Tables в фичевой инженерии (публичная предварительная версия)
29 февраля 2024 г.
Таблицы, опубликованные в каталоге Unity из конвейеров Delta Live Tables и содержащие первичный ключ, теперь можно использовать в качестве таблиц признаков для обучения модели или вывода. Каталог Unity предоставляет доступ к функциям обнаружения, управления, происхождения и доступа между рабочими областями. Дополнительные сведения см. в статье Создание таблицы функций в каталоге Unity.
Исходные IPv4-адреса для подключений PrivateLink в журналах аудита
29 февраля 2024 г.
Исходный IPv4-адрес для интерфейсных подключений PrivateLink теперь фиксируется в source_ip_address
в журналах аудита. См. справочник по журналам диагностики и настройка частного подключения к Azure Databricks.
Ограничение изменения владельца задания и параметра запуска от имени
29 февраля 2024 г.
Администраторы рабочей области могут изменить владельца задания на любого пользователя или субъекта-службы в своей рабочей области по умолчанию, а задание выполняется как параметр для любого пользователя в рабочей области или субъекта-службы, на которых они имеют роль пользователя субъекта-службы.
Администраторы учетных записей теперь могут ограничить администраторов рабочих областей только изменить владельца задания, а задание выполняется в качестве параметра субъект-службы, на которых они имеют роль пользователя субъекта-службы или для себя. Этот параметр можно автоматизировать после создания рабочей области. См. раздел "Ограничить администраторы рабочей области".
Поддержка управляемых субъектов-служб Databricks
28 февраля 2024 г.
Теперь вы можете создавать субъекты-службы и управлять ими непосредственно в Azure Databricks. Ранее все субъекты-службы должны быть связаны с существующим субъектом-службой Идентификатора Microsoft Entra. См. статью Databricks и субъекты-службы идентификатора Microsoft Entra.
Включить автоматическое обновление кластера (общедоступная предварительная версия)
27 февраля 2024 г.
Автоматическое обновление кластера гарантирует, что все кластеры в рабочей области периодически обновляются до последних обновлений образа ОС узла и системы безопасности. Период обслуживания можно настроить. См. автоматическое обновление кластера. Включение этой функции в рабочей области автоматически добавляет надстройку повышенной безопасности и соответствия требованиям. Дополнительные сведения см. на странице цен.
Администраторы могут включить расширенные функции безопасности и соответствия требованиям (общедоступная предварительная версия)
27 февраля 2024 г.
Теперь администраторы могут включить функции Настроить параметры расширенной безопасности и соответствия требованиям: профиль безопасности соответствия требованиям, расширенный мониторинг безопасностии автоматическое обновление кластера. Используйте портал Azure или шаблон ARM. Использование этих функций автоматически добавляет надстройку повышенной безопасности и соответствия требованиям. Дополнительные сведения см. на странице цен.
Функция автоматического обновления кластера и возможность включения функций расширенной безопасности и соответствия требованиям находятся в общедоступной предварительной версии. Однако сам профиль безопасности соответствия требованиям и расширенный мониторинг безопасности общедоступен (GA).
Поддержка хранилища Cloudflare R2 для предотвращения исходящих сборов между регионами (общедоступная предварительная версия)
26 февраля 2024 г.
Теперь вы можете использовать Cloudflare R2 в качестве облачного хранилища для данных, зарегистрированных в каталоге Unity. Cloudflare R2 предназначен в основном для вариантов использования Delta Sharing, чтобы избежать сборов за исходящий трафик данных, взимаемых поставщиками облачных служб при перемещении данных между регионами. Хранилище R2 поддерживает все данные Databricks и ресурсы ИИ, поддерживаемые в AWS S3, Azure Data Lake Storage 2-го поколения и Google Cloud Storage. Для поддержки R2 требуется Databricks Runtime 14.3 или хранилище SQL 2024.15. См. статью "Использование реплик Cloudflare R2" или миграции хранилища в R2 и создание учетных данных хранения для подключения к Cloudflare R2.
Добавление пользовательского интерфейса данных поддерживает формат XML-файла
23 февраля 2024 г.
Пользовательский интерфейс добавления данных теперь поддерживает отправку и прием XML-файла из облачного хранилища объектов. См. статью "Отправка файлов в Azure Databricks".
Использование функций ИИ для вызова созданной модели ИИ из API-интерфейсов модели Foundation
22 февраля 2024 г.
Теперь функции ИИ можно использовать для вызова созданной модели искусственного интеллекта из API модели Databricks Foundation для выполнения таких задач, как анализ тональности и классификация.
Сведения о доступных функциях см. в функциях ИИ с помощью API модели Databricks Foundation.
Каталог Unity Catalog достиг стадии общего доступа.
22 февраля 2024 г.
Тома каталога Unity теперь общедоступны в Databricks Runtime 14.3 LTS и более поздних версиях. Databricks рекомендует использовать тома для управления доступом на чтение и запись к не табличным данным в облачном хранилище объектов. См. статью Что такое тома каталога Unity?.
Полностраничный поиск на основе ИИ
16-22 февраля 2024 г.
Поиск Azure Databricks теперь использует DatabricksIQ для предоставления более интеллектуального интерфейса поиска на основе искусственного интеллекта. Новый интерфейс полностраничного поиска дает больше места для просмотра результатов, дополнительных метаданных для объектов и других фильтров, чтобы сузить результаты.
См. статью "Поиск объектов рабочей области".
Выполнение заданий записной книжки SQL в хранилище SQL
8 февраля 2024 г.
Теперь можно запланировать и выполнить задания записной книжки с помощью хранилища SQL в качестве вычислительного ресурса. Дополнительные сведения см. в статье "Использование записной книжки с хранилищем SQL".
Триггеры прибытия файлов в заданиях Azure Databricks — это общедоступная версия
7 февраля 2024 г.
Триггеры прибытия файлов теперь общедоступны во всех облачных поставщиках. В этом выпуске можно использовать триггеры прибытия файлов для запуска задания Azure Databricks при поступлении новых файлов в том каталога Unity в дополнение к существующей поддержке внешних расположений каталога Unity. Просмотр заданий триггера при поступлении новых файлов.
Этот выпуск также удаляет ограничение с использованием триггеров прибытия файлов с брандмауэром Azure.
Поиск моделей машинного обучения в каталоге Unity с помощью глобального поиска рабочей области
7 февраля 2024 г.
Теперь можно найти модели машинного обучения в каталоге Unity с помощью глобальной панели поиска в пользовательском интерфейсе рабочей области Databricks. См. статью Управление жизненным циклом модели в каталоге Unity и Поиск объектов рабочей области.
Прокси-сервер Databricks Git — это общедоступная версия
6 февраля 2024 г.
Прокси-сервер Databricks Git можно использовать для настройки безопасного доступа из Databricks Repos на локальный сервер Git. См. Настройте частное подключение Git для Git папок Azure Databricks (Repos).
Прокси-сервер Databricks Git больше не требует CAN_ATTACH_TO разрешений
6 февраля 2024 г.
Выпуск общедоступной версии прокси-сервера Databricks Git удалил необходимость предоставления всем пользователям CAN_ATTACH_TO
разрешений.
Если вы ранее настроили прокси-сервер Databricks Git с правами CAN_ATTACH_TO
, см. , настройте частное подключение Git для фолдеров Git Azure Databricks (Repos).
Поддержка файлов рабочей области для задач dbt и SQL-файлов — это общедоступная версия
1 февраля 2024 г.
Поддержка использования проектов dbt и файлов SQL, хранящихся в папках рабочей области Azure Databricks, теперь общедоступна, добавив в существующую поддержку использования файлов, хранящихся в удаленном репозитории Git. См . задачу dbt для заданий и задачи SQL для заданий.
Databricks Connect — это общедоступная версия для Scala
1 февраля 2024 г.
Начиная с Databricks Runtime 14.3 LTS, Databricks Connect теперь общедоступен для Scala.
Создание таблиц из файлов в томах
1 февраля 2024 г.
Теперь вы можете использовать пользовательский интерфейс для создания управляемых таблиц каталога Unity из файлов данных, хранящихся в томах каталога Unity. См. раздел Создание таблицы из данных в томе.
Databricks Runtime 14.3 LTS — это общедоступная версия
1 февраля 2024 г.
Databricks Runtime 14.3 LTS и Databricks Runtime 14.3 LTS ML теперь общедоступны.
Дополнительные сведения см. в разделе Databricks Runtime 14.3 LTS и Databricks Runtime 14.3 LTS для Машинное обучение.
Delta Sharing поддерживает таблицы, использующие векторы удаления (общедоступная предварительная версия)
1 февраля 2024 г.
Delta Sharing теперь поддерживает общий доступ к таблицам, которые используют векторы удаления , которые являются функцией оптимизации хранилища, которую можно включить в таблицах Delta. Получатели могут считывать таблицы, использующие векторы удаления с помощью хранилища SQL, кластера под управлением Databricks Runtime 14.1 или более поздней версии, или вычислений, работающих с открытым исходным кодом delta-sharing-spark
3.1 или более поздней версии. Поддержка постепенно развертывается в течение ближайшего месяца.
См. разделы: Добавление таблиц с векторами удаления или сопоставлением столбцов в общую папку; Чтение таблиц с включенными векторами удаления или сопоставлением столбцов; а также Чтение таблиц с векторами удаления или сопоставлением столбцов.