январь 2024 года

Эти функции и улучшения платформы Azure Databricks были выпущены в январе 2024 года.

Примечание.

Выпуски являются поэтапными. Ваша учетная запись Azure Databricks может быть обновлена только через неделю или более после первоначальной даты выпуска.

Поддержка родного формата XML-файлов (общедоступная предварительная версия)

31 января 2024 г.

Поддержка формата собственного XML-файла теперь доступна в общедоступной предварительной версии. Поддержка формата XML-файла позволяет получать, запрашивать и анализировать XML-данные для пакетной обработки или потоковой передачи. Он может автоматически выводить и развивать схемы и типы данных, поддерживать выражения SQL, такие как from_xml, и создавать XML-документы. Он не требует внешних JAR-файлов и работает беспроблемно с автозагрузчиком, read_files, COPY INTOи DLT. Дополнительные сведения см. в разделе "Чтение и запись XML-файлов".

Совместное использование моделей ИИ с помощью Databricks Marketplace (общедоступная предварительная версия)

31 января 2024 г.

Теперь вы можете использовать Marketplace для совместного использования моделей, зарегистрированных в каталоге Unity. Чтобы принять участие в совместном использовании моделей с помощью каталога Unity, необходимо включить рабочие пространства как провайдера, так и потребителя.

См. раздел "Что такое Databricks Marketplace" и "Добавление моделей в общую папку".

Обновления правил группы безопасности сети

31 января 2024 г.

Чтобы повысить масштабируемость платформы, плоскость управления Azure Databricks теперь требует новых конечных точек для подключения к классической плоскости данных. Для рабочих областей, развернутых в собственной виртуальной сети Azure, сетевые порты 3306 и 8443-8451 теперь добавлены в существующее правило безопасности для назначения AzureDatabricks, что обеспечивает контроль исходящего трафика через порт 443.

Дополнительные сведения см. в разделе "Правила группы безопасности сети".

Обновление пути рабочей области

Исторически пользователи должны были включать /Workspace префикс пути для некоторых API Databricks (%sh), но не для остальных (%run) входных данных REST API. Теперь пользователи могут предоставлять пути к рабочей области с префиксом /Workspace везде в Databricks. Старые ссылки на пути без /Workspace префикса перенаправляются и продолжают работать. Databricks рекомендует, чтобы все пути рабочей области использовали префикс /Workspace, чтобы отличить их от путей томов и путей в DBFS.

Поддержка брандмауэра службы хранилища Azure для бессерверных вычислений стала общедоступной

30 января 2024 г.

Поддержка брандмауэра Azure Storage из бессерверных вычислений Azure Databricks достигла общедоступного статуса. Вы можете обеспечить, чтобы бессерверные SQL-склады использовали стабильные идентификаторы подсети для подключения к службе хранилища Azure и внесения этих идентификаторов в список разрешений в брандмауэре ресурсов Azure. См. раздел "Настройка брандмауэра для бессерверного доступа к вычислительным ресурсам".

Упрощенное создание заданий Azure Databricks

29 января 2024 г.

Пустое задание теперь создается сразу после нажатия кнопки для создания задания, что позволяет изменять параметры уровня задания, такие как теги, расписания или параметры уведомлений перед добавлением первой задачи. Ранее перед получением доступа к параметрам уровня задания необходимо было создать первую задачу. См. Настройка и редактирование задач Databricks.

Мониторинг моделей GPU, обслуживающих рабочие нагрузки с помощью таблиц вывода

29 января 2024 г.

Теперь вы можете отслеживать модели GPU, обслуживающие рабочие нагрузки, с помощью таблиц вывода. См. таблицы инференса для мониторинга и отладки моделей.

Доступ на основе пути URI к внешним томам каталога Unity

25 января 2024 г.

Теперь вы можете использовать URI адреса облачного хранилища для путевого доступа к данным, которые управляются каталогом Unity и хранятся во внешних томах. См. Какой путь используется для доступа к файлам в томе?.

Списки элементов управления доступом можно включить в обновленных рабочих областях

24 января 2024 г.

Параметры управления доступом были включены во всех рабочих областях плана Premium в ноябре 2023 года.

Для рабочих областей, которые обновляются с плана "Стандартный" до плана Premium, параметры управления доступом отключены по умолчанию. Теперь администраторы рабочей области могут включить следующие параметры управления доступом в обновленных рабочих областях:

• Управление доступом к рабочей области: позволяет пользователям настраивать разрешения для объектов рабочей области.
• Кластер, пул, управление доступом к заданиям: позволяет пользователям настраивать разрешения для кластеров, пулов и заданий.
• Управление видимостью кластера: предотвращает отображение кластеров для пользователей, не имеющих на них разрешений.
• Элемент управления видимостью заданий: предотвращает отображение заданий для пользователей, не имеющих на них разрешений.
• Параметр управления видимостью рабочей области: запрещает пользователям, у которых нет разрешений на доступ к записным книжкам и папкам.

После включения параметра управления доступом его нельзя отключить. Дополнительные сведения см. в списках управления доступом.

Таблица системных событий Marketplace теперь доступна (общедоступная предварительная версия)

24 января 2024 г.>

Схема системы Marketplace теперь включает таблицу событий воронки объявлений (system.marketplace.listing_funnel_events), где можно отслеживать действия пользователей в ваших объявлениях. См. таблицу событий воронки перечисления .

Обновленный пользовательский интерфейс для ячеек записной книжки (общедоступная предварительная версия)

24 января 2024 г.

Доступна обновленная конструкция ячейки записной книжки. Чтобы включить новую структуру ячеек, откройте страницу параметров редактора в рабочей области. На боковой панели щелкните "Разработчик". В разделе "Экспериментальные функции" переключите пользовательский интерфейс новой ячейки. Дополнительные сведения о работе с ячейками записной книжки см. в статье Настройка внешнего вида записной книжки.

Краткое исправление ошибок синтаксиса в записной книжке

24 января 2024 г.

Вы можете получить помощь от помощника Databricks по синтаксису, используя функцию Быстрое исправление. Дополнительные сведения см. в разделе "Выделение ошибок Python".

Databricks Runtime 14.3 LTS (бета-версия)

22 января 2024 г.

Databricks Runtime 14.3 LTS и Databricks Runtime 14.3 LTS ML теперь доступны в качестве бета-выпусков.

Дополнительные сведения см. в разделах Databricks Runtime 14.3 LTS и Databricks Runtime 14.3 LTS для Машинного обучения.

Совместное использование моделей ИИ с помощью Delta Sharing (программа публичного предварительного просмотра)

19 января 2024 г.

Теперь вы можете использовать Delta Sharing для совместного использования моделей, зарегистрированных в Unity Catalog. Для обмена моделями с помощью Unity Catalog необходимо включить рабочие области как поставщика, так и получателя.

См. раздел "Добавление моделей в общую папку".

Databricks Marketplace поддерживает общий доступ к томам

18 января 2023 г.

Databricks Marketplace теперь предоставляет доступ к томам (не табличным данным), если у вас есть рабочая область Databricks с поддержкой каталога Unity. Тома — это объекты каталога Unity, представляющие логический объем хранилища в расположении облачного хранилища объектов, и они предоставляют способ управления и совместного использования не табличных ресурсов данных.

См. доступ к продуктам данных в Databricks Marketplace (для рабочих областей с поддержкой Unity Catalog).

Создание мини-приложений из пользовательского интерфейса Databricks

18 января 2024 г.

Теперь вы можете создавать мини-приложения Databricks с помощью пользовательского интерфейса Databricks. Дополнительные сведения см. в разделе "Создание мини-приложений с помощью пользовательского интерфейса".

Теперь доступна система событий хранилища (общедоступная предварительная версия)

18 января 2024 г.

Таблица system.compute.warehouse_events фиксирует время запуска, остановки и масштабирования вверх и вниз для хранилищ SQL. Таблицу можно использовать для мониторинга хранилищ SQL и управления ими в рабочих областях. См. справочник по таблице событий системы складирования.

Ограничение размера файла рабочей области составляет 500 МБ

15 января 2023 г.

Теперь отдельные файлы рабочей области ограничены 500 МБ. Ранее ограничение составило 200 МБ. Дополнительные сведения см. в разделе "Ограничения".

Уведомление об удалении компонентов для устаревшей интеграции Git в Databricks

12 января 2024 г.

После 31 января 2024 г. Databricks удаляет устаревшие интеграции с записными книжками Git. Эта функция была в состоянии устаревшей версии более двух лет, и уведомление об отключении отображается в пользовательском интерфейсе продукта с ноября 2023 года.

Дополнительные сведения о миграции на каталоги Git Databricks (репозитории) см. в статье Переключение на Databricks Repos из устаревшей интеграции с Git. Если это удаление влияет на вас и вам нужно продление, обратитесь к вашему менеджеру по работе с клиентами в компании Databricks.

Драйвер ODBC Databricks 2.7.7

9 января 2024 г.

Мы выпустили версию 2.7.7 драйвера ODBC Databricks (скачать). В этом выпуске добавлены следующие новые функции и улучшения:

• Проверка подлинности управляемого удостоверения Azure.
• Поддержка асинхронных операций метаданных. Сервер должен поддерживать SPARK_CLI_SERVICE_PROTOCOL_V9 и выше.
• Поддержка параметризованного запроса в собственном режиме запросов. Сервер должен поддерживать SPARK_CLI_SERVICE_PROTOCOL_V8 и выше.
• Улучшение OAuth: Теперь соединитель может отключить кэш токенов для аутентификации, основанной на браузере.

Этот выпуск также устраняет следующие проблемы в версии 2.7.7.

• Соединитель игнорирует частную корневую ЦС при использовании хранилища доверия Windows.
• При сбое операции соединитель не закрывает потоки пульса.
• Соединитель не поддерживает необязательный токен обновления.
• При запросе таблиц с внешними именами соединитель не сможет считывать их.
• При использовании аутентификации OAuth, если длина строки хоста составляет менее 20 символов, соединитель завершается неожиданно.

Поддержка серии Databricks Runtime 13.2 заканчивается

6 января 2024 г.

Поддержка Databricks Runtime 13.2 и Databricks Runtime 13.2 для машинного обучения закончилась 6 января. См. статью "Жизненные циклы поддержки Databricks".

Вспомогательные функции ИИ включены по умолчанию

2-8 января 2024 г.

Вспомогательные функции ИИ теперь включены по умолчанию для рабочих областей без включенного профиля безопасности соответствия. Например:

• ИИ-сгенерированные примечания для управляемых таблиц каталога Unity
• Чат-бот в продукте
• Помощник Databricks

Администраторы могут отказаться от вспомогательных функций искусственного интеллекта для всех рабочих областей в своей учетной записи или подмножества рабочих областей. См. Для учетной записи: отключение или включение функций Помощника Databricks.