Поделиться через

Что будет?

  • Статья

Узнайте о функциях и изменениях поведения в предстоящих выпусках Azure Databricks.

Улучшения пользовательского интерфейса профиля запроса

Пользовательский интерфейс профиля поискового запроса обновляется, чтобы повысить удобство использования и обеспечить более быстрый доступ к ключевым инсайтам.

  • Панель сводки будет включать основные показатели, краткий обзор профиля запроса и быстрые ссылки на разделы страницы профиля запроса.
  • Новые топ-операторы панели будут перечислять наиболее ресурсоемкие операторы с параметрами фильтрации и выделением представления графа.
  • Обновленный макет предназначен для улучшения удобочитаемости и навигации от сводных метрик до подробных аналитических сведений.
  • Дополнительные улучшения включают выделение узлов по ключевым словам, усовершенствованный список выполнения и уточнение процесса анализа производительности запросов.

Изменение поведения для параметра списка добавочных каталогов автозагрузчика

Заметка

Параметр автозагрузчика cloudFiles.useIncrementalListing устарел. Хотя в этой заметке рассматривается изменение значения по умолчанию параметра и способы его дальнейшего использования после этого изменения, Databricks рекомендует заменить использование этого параметра режимом уведомлений файлов .

В предстоящем выпуске Databricks Runtime значение нерекомендуемого параметра автозагрузчика cloudFiles.useIncrementalListing по умолчанию будет иметь значение false. Установка этого значения на false приводит к тому, что автозагрузчик выполняет полный список каталогов при каждом запуске. В настоящее время значение по умолчанию параметра cloudFiles.useIncrementalListing установлено в auto, что заставляет автозагрузчик попытаться наилучшим образом определить, можно ли использовать инкрементное перечисление с каталогом.

Чтобы продолжить использование функции добавочного перечисления, задайте для параметра cloudFiles.useIncrementalListing значение auto. Если для этого значения задано значение auto, автозагрузчик в меру возможностей пытается выполнить полный перечень каждые семь добавочных перечней, что соответствует поведению этого параметра перед этим изменением.

Чтобы узнать больше о вариантах отображения каталогов автозагрузчика, см. параметры автозагрузчика.

Управление статистикой, включенное по умолчанию с прогнозной оптимизацией

Начиная с 21 января Databricks начнет включать управление статистикой для всех учетных записей с поддержкой прогнозной оптимизации. Управление статистикой расширяет существующие функции прогнозной оптимизации, добавляя коллекцию статистики при записи и автоматически выполняя команды ANALYZE для управляемых таблиц каталога Unity. Для получения дополнительных сведений о прогнозной оптимизации, см. прогнозную оптимизацию для таблиц, управляемых Unity Catalog.

Бессерверные вычисления для получения поддержки пакета SDK Scala для учетных данных службы

Обновление для бессерверных вычислений будет поддерживать аутентификацию с управлением от Unity Catalog для внешних облачных сервисов с использованием учетных данных службы через Scala SDK. Поддержка аутентификации с использованием сервисного принципала в Scala, уже доступная в Databricks Runtime 16.2 и выше, дополняет аутентификацию с использованием учетных данных службы в Python SDK. См. Управление доступом к внешним облачным службам с помощью учетных данных службы.

Изменение поведения при удалении определений набора данных из конвейера DLT

Предстоящий выпуск DLT изменит поведение при удалении материализованного представления или потоковой таблицы из конвейера. При этом изменении удаленное материализованное представление или потоковая таблица не будет автоматически удалена при выполнении следующего обновления конвейера. Вместо этого вы сможете использовать команду DROP MATERIALIZED VIEW для удаления материализованного представления или команды DROP TABLE для удаления таблицы потоковой передачи. После удаления объекта, запуск обновления конвейера не восстановит объект автоматически. Новый объект создается, если материализованное представление или потоковая таблица с тем же определением повторно добавляется в конвейер. Однако можно восстановить объект с помощью команды UNDROP.

Файлы рабочей области будут активированы для всех рабочих областей Azure Databricks 1 февраля 2025 г.

Databricks активирует файлы рабочей области для всех рабочих областей Azure Databricks 1 февраля 2025 г. Это изменение снимает ограничения для пользователей рабочей области, позволяя им использовать новые функции файлов рабочей области. После 1 февраля 2025 г. вы не сможете отключить файлы рабочей области с помощью свойства enableWorkspaceFilesystem с REST API Azure Databricks для включения и отключения функций рабочей области. Дополнительные сведения о файлах рабочей области см. в разделе Что такое файлы рабочей области?.

Таблицы по умолчанию делятся с историей в Delta Sharing

Databricks планирует изменить настройки по умолчанию для таблиц, совместно используемых с помощью Delta Sharing, чтобы включить историю изменений по умолчанию. Ранее общий доступ к журналу был отключен по умолчанию. Ведение истории таблиц улучшает производительность чтения и обеспечивает автоматическую поддержку расширенных оптимизаций Delta.

Снижение затрат и больше контроля над производительностью и затратами на бессерверные вычислительные ресурсы для рабочих нагрузок рабочих процессов

Помимо поддерживаемых в настоящее время автоматических оптимизаций производительности усовершенствования бессерверных вычислений для функций оптимизации рабочих процессов обеспечивают больше контроля над оптимизацией рабочих нагрузок для повышения производительности или затрат. Чтобы узнать больше, см. статью «Экономия средств на бессерверных вычислениях для ноутбуков, заданий и конвейеров».

Изменения в устаревшей версии панели мониторинга

Databricks рекомендует использовать панели мониторинга AI/BI (ранее — панели мониторинга Lakeview). Более ранние версии панелей мониторинга, ранее называемые панелями мониторинга Databricks SQL, теперь называются устаревшими панелями мониторинга. Databricks не рекомендует создавать новые устаревшие панели мониторинга. Панели мониторинга AI/BI предлагают улучшенные функции по сравнению с устаревшей версией, включая разработку с помощью ИИ, черновик и опубликованные режимы, а также перекрестную фильтрацию.

График окончания поддержки для устаревших панелей мониторинга

  • 7 апреля 2025 г.: официальная поддержка устаревшей версии панелей мониторинга завершится. Будут устранены только критические проблемы безопасности и сбоя служб.
  • 3 ноября 2025 г.: Databricks начнет архивацию устаревших панелей мониторинга, которые не были доступны за последние шесть месяцев. Архивные панели мониторинга больше не будут доступны, и процесс архивации будет выполняться на последовательной основе. Доступ к активно используемым панелям мониторинга остается неизменным.

Databricks будет работать с клиентами для разработки планов миграции для активных устаревших панелей мониторинга после 3 ноября 2025 года.

Для перехода на панели мониторинга ИИ/BI средства обновления доступны как в пользовательском интерфейсе, так и в API. Инструкции по использованию встроенного средства миграции в пользовательском интерфейсе см. в разделе Клонирование устаревшей панели мониторинга на панель мониторинга AI/BI. Обучающие материалы по созданию и управлению панелями мониторинга с помощью REST API доступны в разделе Используйте API Azure Databricks для управления панелями мониторинга.

Изменения в распределении бессерверной вычислительной нагрузки

В настоящее время ваша системная таблица платного использования может включать записи выставления счетов для бессерверных SKU со значениями null для run_as, job_id, job_run_id и notebook_id. Эти записи представляют затраты, связанные с общими ресурсами, которые не относятся непосредственно к определенной рабочей нагрузке.

Чтобы упростить отчеты о затратах, Databricks вскоре будет распределять эти общие затраты на конкретные рабочие нагрузки, которые их понесли. Вы больше не увидите записи выставления счетов со значениями NULL в полях идентификатора рабочей нагрузки. По мере увеличения использования бессерверных вычислений и добавления дополнительных рабочих нагрузок доля этих общих затрат на счет уменьшится, так как они используются для дополнительных рабочих нагрузок.

Дополнительные сведения о затратах на бессерверные вычисления см. в разделе "Мониторинг затрат на бессерверные вычисления".

Поле sourceIpAddress в журналах аудита больше не будет включать номер порта

Из-за ошибки некоторые журналы аудита авторизации и проверки подлинности включают номер порта в дополнение к IP-адресу в sourceIPAddress поле (например, "sourceIPAddress":"10.2.91.100:0"). Номер порта, который регистрируется как 0, не предоставляет никакого реального значения и не соответствует остальным журналам аудита Databricks. Чтобы повысить согласованность журналов аудита, Databricks планирует изменить формат IP-адреса для этих событий журнала аудита. Это изменение будет постепенно развернуто в начале августа 2024 года.

Если журнал аудита содержит объект sourceIpAddress0.0.0.0, Databricks может прекратить ведение журнала.

JDK8 и JDK11 будут неподдерживаемы

Azure Databricks планирует удалить поддержку JDK 8 со следующим основным выпуском Databricks Runtime, когда выйдет Spark 4.0. Azure Databricks планирует удалить поддержку JDK 11 со следующей версией LTS Databricks Runtime 14.x.

Автоматическое включение каталога Unity для новых рабочих областей

Databricks начал автоматически включать каталог Unity для новых рабочих областей. Это устраняет необходимость администраторам учетных записей настраивать каталог Unity после создания рабочей области. Развертывание осуществляется постепенно по учетным записям.

обновление sqlite-jdbc

Databricks Runtime планирует обновить версию sqlite-jdbc с версии 3.8.11.2 до 3.42.0.0 во всех выпусках обслуживания Databricks Runtime. API версии 3.42.0.0.0 не полностью совместимы с 3.8.11.2. Убедитесь, что методы и тип возврата используют версию 3.42.0.0.

Если вы используете sqlite-jdbc в коде, проверьте отчет о совместимости sqlite-jdbc.