Заметки о выпуске Databricks SQL

В этой статье описаны новые функции и улучшения SQL Databricks, а также перечислены известные проблемы и представлены ответы на часто задаваемые вопросы.

Процесс выпуска

Databricks выпускает обновления пользовательского интерфейса веб-приложения Databricks SQL на постоянной основе, при этом все пользователи получают одинаковые обновления, развернутые в течение короткого периода времени.

Кроме того, обычно в Databricks регулярно выходят новые версии вычислительной среды хранилища SQL. Всегда доступны два канала: Preview (предварительная версия) и Current (текущая версия).

Примечание.

Выпуски являются поэтапными. Учетная запись Databricks может не обновляться с новой версией хранилища SQL или функцией Databricks SQL до недели или более после начальной даты выпуска.

Примечание.

Databricks SQL Serverless недоступна в Azure Для Китая. Databricks SQL недоступна в Azure для государственных организаций регионах.

Каналами

Каналы позволяют выбрать версию вычислений текущего хранилища SQL или предварительную версию. Предварительные версии позволяют испытать новые функциональные возможности до того, как они станут стандартом SQL Databricks. Воспользуйтесь преимуществами предварительных версий для тестирования ваших рабочих запросов и панелей мониторинга на предмет предстоящих изменений.

Как правило, уровень предварительной версии повышается до канала текущей версии приблизительно через две недели после выпуска в канале предварительной версии. Некоторые функции, такие как функции безопасности, обновления обслуживания и исправления ошибок, могут быть выпущены непосредственно в канале текущей версии. Время от времени Databricks может повышать уровень предварительной версии до канала текущей версии по другому расписанию. Каждая новая версия будет объявлена в следующих разделах.

Сведения о переключении существующего хранилища SQL на канал предварительной версии см. в разделе "Предварительный просмотр каналов". Функции, перечисленные в разделах обновлений пользовательского интерфейса, не зависят от вычислительных версий хранилища SQL, описанных в разделе каналов заметки о выпуске.

Доступные версии SQL Databricks

текущий канал: версия Databricks SQL 2024.50

Канал предварительного просмотра : версия Databricks SQL 2024.50

• Ознакомьтесь с функциями 2024.50.

30 января 2025 г.

Следующие функции и обновления были выпущены в течение недели 30 января 2025 г.

Обновления пользовательского интерфейса

склад данных SQL

Теперь количество завершенных запросов диаграмме (общедоступная предварительная версия) доступно в пользовательском интерфейсе мониторинга хранилища SQL. На этой новой диаграмме показано количество запросов, завершенных в период времени, включая отмененные и неудачные запросы. Диаграмму можно использовать с другими диаграммами и таблицей журнала запросов для оценки и устранения неполадок производительности хранилища. Запрос учитывается в временном интервале, в котором он завершается. Величины усредняются за минуту. Дополнительные сведения см. в статье Мониторингхранилища SQL.

редактор SQL

• развернутые данные отображаются на диаграммах: визуализации, созданные в редакторе SQL, теперь поддерживают до 15 000 строк данных.

23 января 2025 г.

Следующие функции и обновления были выпущены в течение недели 23 января 2025 г.

Изменения в версии 2024.50

Databricks SQL версии 2024.50 включает следующие изменения поведения, новые функции и улучшения.

Изменения поведения

• Тип данных VARIANT больше не может использоваться с операциями, требующими сравнения

Нельзя использовать следующие предложения или операторы в запросах, которые включают тип данных VARIANT:

• DISTINCT
• INTERSECT
• EXCEPT
• UNION
• DISTRIBUTE BY

Эти операции выполняют сравнения и сравнения, использующие тип данных VARIANT, создают неопределенные результаты и не поддерживаются в Databricks. Если вы используете тип VARIANT в рабочих нагрузках или таблицах Azure Databricks, Databricks рекомендует следующие изменения:

• Обновите запросы или выражения, чтобы явно приводить значения VARIANT к типам данных, отличным отVARIANT.
• Если у вас есть поля, которые должны использоваться с любой из указанных выше операций, извлеките эти поля из типа данных VARIANT и сохраните их с помощью типов данных, отличных отVARIANT.

Дополнительные сведения см. в разделе данных варианта запроса.

Новые функции и улучшения

• Поддержка параметризации предложения USE CATALOG with IDENTIFIER

Предложение IDENTIFIER поддерживается для инструкции USE CATALOG. С помощью этой поддержки можно параметризовать текущий каталог на основе строковой переменной или маркера параметров.

• COMMENT ON COLUMN поддержку таблиц и представлений

Инструкция COMMENT ON поддерживает изменение комментариев для столбцов представления и таблицы.

• новые функции SQL

Доступны следующие новые встроенные функции SQL:

• dayname(expr) возвращает трехбуквенный английский акроним для дня недели для указанной даты.
• uniform(expr1, expr2 [,seed]) возвращает случайное значение с независимыми и идентичными распределенными значениями в указанном диапазоне чисел.
• randstr(length) возвращает случайную строку length буквенно-числовых символов.
• вызов именованного параметра для дополнительных функций

Следующие функции поддерживают вызов именованных параметров :

• variant_explode
• variant_explode_outer
• встроенные
• inline_outer
• posexplode
• posexplode_outer

Исправления ошибок

• вложенные типы теперь правильно принимают ограничения NULL

В этом выпуске исправлена ошибка, влияющая на некоторые столбцы, созданные Delta, для вложенных типов, например STRUCT. Эти столбцы иногда неправильно отклоняют выражения, основанные на ограничениях NULL или NOT NULL в вложенных полях. Исправлено.

15 января 2025 г.

Следующие обновления были выпущены в течение недели 15 января 2025 г.

Обновления пользовательского интерфейса

редактор SQL

Теперь новый редактор SQL (общедоступная предварительная версия) имеет следующие функции:

• Именование загрузок: скачанные выходные данные теперь именуются по запросу.
• корректировка размера шрифта: быстро настроить размер шрифта в редакторе SQL с помощью Alt + и Alt - для Windows и Linux, или Opt + и Opt - для macOS.
• @Упоминания в комментариях: Упоминайте конкретных пользователей с помощью @ в комментариях. Упомянутые пользователи получат уведомления по электронной почте.
• Улучшенное переключение вкладок: производительность переключения вкладок составляет до 80% быстрее для загруженных вкладок и 62% быстрее для выгрузки вкладок.
• см. сведения о хранилище: размер хранилища SQL теперь отображается в селекторе вычислений без дополнительных щелчков мыши.
• Изменить значения параметров: использовать Ctrl + Enter для Windows/Linux или Cmd + Enter для macOS, чтобы запустить запрос при редактировании значения параметра.
• Сохранить результаты запроса в журнале версий: результаты запроса теперь хранятся в журнале версий.

визуализаций

• Новые диаграммы теперь общедоступны: новые диаграммы с улучшенной производительностью, расширенными цветами и более быстрой интерактивностью теперь доступны. См. визуализацию в Databricks SQL и типы визуализаций.

известные проблемы

• Операции чтения из источников данных, отличающихся от озер данных в многокластерных конечных точках SQL с распределенной нагрузкой, могут быть несогласованными.
• Разностные таблицы, доступные в Databricks SQL, передают свои свойства схемы и таблицы в настроенное хранилище метаданных. Если вы используете внешнее хранилище метаданных, вы сможете просматривать сведения о Delta Lake в хранилище метаданных. Delta Lake делает все возможное, чтобы поддерживать эти данные в актуальном состоянии. Вы также можете использовать команду DESCRIBE <table> для гарантированного обновления информации в хранилище метаданных.
• Databricks SQL не поддерживает смещения часовых поясов, такие как GMT+8, в качестве часового пояса сеанса. Для решения этой проблемы можно использовать часовой пояс на основе региона (https://en.wikipedia.org/wiki/List_of_tz_database_time_zones), например Etc/GMT+8. Дополнительные сведения о настройке часовых поясов см. в SET TIME ZONE.

Вопросы и ответы

Используйте следующий список, чтобы узнать ответы на распространенные вопросы.

Как начисляется плата за рабочие нагрузки Databricks SQL?

Плата за рабочие нагрузки Databricks SQL начисляется в соответствии с ценовой категории "Стандартный" для SKU Jobs Compute.

Где работают SQL склады?

Классические и профессиональные хранилища SQL создаются и управляются в учетной записи Azure. Хранилища SQL управляют оптимизированными для SQL кластерами автоматически в учетной записи и масштабируются в соответствии с требованиями конечных пользователей.

бессерверные хранилища SQL, с другой стороны, используйте вычислительные ресурсы в учетной записи Databricks. Бессерверные хранилища SQL упрощают настройку и использование хранилища SQL и ускоряют время запуска. Бессерверная опция доступна только в том случае, если она была включена для рабочей области . Дополнительные сведения см. в плоскости бессерверных вычислений.

Можно ли использовать хранилища SQL из записной книжки в той же рабочей области?

Да. Сведения о присоединении записной книжки к хранилищу SQL см. в статье Использование записной книжки с хранилищем SQL.

Мне предоставлен доступ к данным с использованием учетных данных поставщика облачных служб. Почему я не могу получить доступ к этим данным в Databricks SQL?

В Databricks SQL все доступ к данным подвержены контролю доступа к данным, а администратор или владелец данных должны сначала предоставить вам соответствующие права .