Поделиться через

Заметки о выпуске Databricks SQL

  • Статья

В этой статье описаны новые функции и улучшения SQL Databricks, а также перечислены известные проблемы и представлены ответы на часто задаваемые вопросы.

Процесс выпуска

Databricks выпускает обновления пользовательского интерфейса веб-приложения Databricks SQL на постоянной основе, при этом все пользователи получают одинаковые обновления, развернутые в течение короткого периода времени.

Кроме того, обычно в Databricks регулярно выходят новые версии вычислительной среды хранилища SQL. Всегда доступны два канала: Preview (предварительная версия) и Current (текущая версия).

Примечание.

Выпуски являются поэтапными. Учетная запись Databricks может не обновляться с новой версией хранилища SQL или функцией Databricks SQL до недели или более после начальной даты выпуска.

Примечание.

Databricks SQL Serverless недоступна в Azure Для Китая. Databricks SQL недоступна в Azure для государственных организаций регионах.

Каналами

Каналы позволяют выбрать версию вычислений текущего хранилища SQL или предварительную версию. Предварительные версии позволяют испытать новые функциональные возможности до того, как они станут стандартом SQL Databricks. Воспользуйтесь преимуществами предварительных версий для тестирования ваших рабочих запросов и панелей мониторинга на предмет предстоящих изменений.

Как правило, уровень предварительной версии повышается до канала текущей версии приблизительно через две недели после выпуска в канале предварительной версии. Некоторые функции, такие как функции безопасности, обновления обслуживания и исправления ошибок, могут быть выпущены непосредственно в канале текущей версии. Время от времени Databricks может повышать уровень предварительной версии до канала текущей версии по другому расписанию. Каждая новая версия будет объявлена в следующих разделах.

Сведения о переключении существующего хранилища SQL на канал предварительной версии см. в разделе "Предварительный просмотр каналов". Функции, перечисленные в разделах обновлений пользовательского интерфейса, не зависят от вычислительных версий хранилища SQL, описанных в разделе "Исправленные проблемы " примечаний о выпуске.

Доступные версии SQL Databricks

Текущий канал: Databricks SQL версии 2024.40

21 ноября 2024 г.

SQL-система хранилища tables (Открытая предварительная версия)

  • system.compute.warehouses table фиксируют создание, изменение и удаление хранилищ SQL. Вы можете использовать table для отслеживания изменений параметров хранилища, включая имя хранилища, тип, размер, канал, теги, автоматические остановки и параметры автомасштабирования. См. справку системы складов table.

Обнаружение данных

  • Вкладка происхождения в обозревателе была изменена с улучшенным пользовательским интерфейсом для фильтрации сущностей.

13 ноября 2024 г.

Устаревшие панели мониторинга:

  • Устранена ошибка: шаблонные подсказки where не отображали подробное содержимое для двухосевых и многоосевых диаграмм.

6 ноября 2024 г.

Поддержка человекочитаемых расписаний для потоковой передачи Databricks SQL и материализованных данных tables и views

Теперь пользователи могут запускать, создавать и изменять расписания потоковой передачи tables и материализованных views с помощью синтаксиса, читаемого человеком, вместо планирования CRON. См. ALTER MATERIALIZED VIEW, ALTER STREAMING TABLE, CREATE MATERIALIZED VIEWи CREATE STREAMING TABLE.

Streaming tables теперь поддерживает запросы временного перемещения

Теперь вы можете использовать перемещение во времени для запроса предыдущих версий table, либо на основе метки времени, либо версии table, как это записано в журнале транзакций. Вам может потребоваться refresh потоковой передачи table перед использованием запросов на поездки по времени. См. статью Что такое переход по времени Delta Lake?.

Запросы на перемещение по времени не поддерживаются для материализованных views.

31 октября 2024 г.

Обновления пользовательского интерфейса

Новый редактор SQL (общедоступная предварительная версия)

  • Теперь можно запустить активный SQL-запрос с помощью сочетания клавиш (или) +CommandCtrlShift. + Enter
  • Область ввода parameters теперь отображает полосу прокрутки, когда текст выходит за пределы отображения window.
  • Исправлена проблема, из-за которой страница сведений о профиле запроса не открывалась полностью.
  • Теперь можно переименовать запросы, введя новое имя в заголовок вкладки.
  • Кнопка "Расписание " теперь отключена для запросов, которые никогда не были сохранены раньше.

24 октября 2024 г.

Заметки о выпуске средств ИИ/BI

Заметки о выпуске для панелей мониторинга AI/BI и AI/BI Genie перемещены в заметки о выпуске AI/BI. Будущие выпуски и обновления будут документированы там.

17 октября 2024 г.

Назначения уведомлений теперь общедоступны

Вы можете создавать и настраивать назначения уведомлений, которые пользователи рабочей области могут добавлять в определенные рабочие процессы, такие как оповещения, задания Databricks и расписания панели мониторинга AI/BI, для отправки сообщений электронной почты или веб-перехватчиков при выполнении события. См. статью "Управление назначениями уведомлений".

10 октября 2024 г.

Материализованные views и потоковые tables теперь общедоступны в Databricks SQL.

Потоковая tables включает добавочный прием из облачных хранилищ и очередей сообщений, а материализованные views - предварительно вычисленные views, которые автоматически и инкрементально обновляются по мере поступления новых данных. См. статью «Использование материализованных представлений» views в Databricks SQL и статью «Загрузка данных с использованием потоковой передачи» tables в Databricks SQL.

Аналитика запросов

  • В историю запросов системы tableбыли добавлены новые columnsquery_source, executed_asи executed_as_user_id. См. справочную информацию системы истории запросов .

3 октября 2024 г.

Расширенная поддержка бессерверного хранилища SQL

Бессерверные хранилища SQL теперь доступны в регионе swedencentral . См. Функции с ограниченной региональной доступностью.

Обновления пользовательского интерфейса

Перечисленные в этом разделе функции не зависят от описанных выше вычислительных версий хранилища SQL.

Catalog обозревателя

  • Теперь поддерживаются комментарии, созданные ИИ, для catalogs, схем, volumes, моделей и функций, а пользователи могут использовать встроенного помощника чата для редактирования своих комментариев.

Функции ИИ SQL теперь vector_search() доступны в общедоступной предварительной версии. См. функцию vector_search

26 сентября 2024 г.

Расширенная поддержка бессерверного хранилища SQL

Бессерверные хранилища SQL теперь доступны в регионе francecentral . См. Функции с ограниченной региональной доступностью.

11 сентября 2024 г.

Обновления пользовательского интерфейса

Перечисленные в этом разделе функции не зависят от вычислительных версий хранилища SQL, описанных выше.

Редактор SQL

Теперь в редакторе SQL можно использовать синтаксис маркера именованных параметров. Синтаксис маркера именованных параметров можно использовать в редакторе SQL, записных книжках и панелях мониторинга ИИ/BI. См. раздел «Работа с запросами» parameters.

Запросы и устаревшие панели мониторинга

Для запросов SQL и устаревших панелей мониторинга удаленные элементы больше не отображаются на страницах списка. Найдите удаленные элементы в папке корзины рабочей области. Администраторы рабочей области могут просматривать удаленные элементы во всех папках корзины пользователей.

5 сентября 2024 г.

Изменения в версии 2024.40

Databricks SQL версии 2024.40 включает следующие изменения поведения, новые функции и улучшения.

Изменение поведения

  • Изменить режим привязки schema по умолчанию для views

    Views теперь адаптируются к schema изменениям базового запроса с помощью schema компенсации и обычных правил приведения. Это изменение предыдущего BINDING режима по умолчанию, которое вызвало ошибки, когда безопасный приведение не удалось выполнить при ссылке на представление.

    См. функции приведениядля и .

  • Запретить использование неподдерженного ! синтаксиса NOT вместо логических выражений

    В этом выпуске использование в качестве синонима ! за NOT пределами логических выражений больше не допускается. Например, инструкции, такие как следующие: CREATE ... IF ! EXISTS, IS NOT NULL, свойство ! NULLcolumn или поля, ! IN и BETWEEN, необходимо заменить следующим образом: CREATE ... IF NOT EXISTS, IS NOT NULL, свойство NOT NULLcolumn или поля, NOT IN и NOT BETWEEN.

    Это изменение гарантирует согласованность, соответствует стандарту SQL и делает SQL более переносимым.

    Логический оператор! префикса (например, !is_mgr или !(true AND false)) не влияет на это изменение.

  • Запретить синтаксис определения column недокументированного column в views

    Databricks поддерживает CREATE VIEW, используя комментарии: именованные columns и column. Ранее была разрешена спецификация типов column, ограничений NOT NULL или DEFAULT. В этом выпуске этот синтаксис больше не используется.

    Это изменение обеспечивает согласованность, соответствует стандарту SQL и поддерживает будущие улучшения.

  • Добавление CHECKconstraint для недопустимого column теперь возвращает класс ошибки UNRESOLVED_COLUMN.WITH_SUGGESTION

    Чтобы обеспечить более полезные сообщения об ошибках, в Databricks Runtime 15.3 и в более поздних версиях оператор ALTER TABLE ADD CONSTRAINT, который включает ссылку CHECKconstraint на недопустимое имя column, возвращает ошибку класса UNRESOLVED_COLUMN.WITH_SUGGESTION. Ранее возвращался объект INTERNAL_ERROR .

Новые функции и внесенные улучшения

  • Включить UniForm Iceberg с помощью ALTER TABLE

    Теперь вы можете включить UniForm Iceberg на существующих tables без необходимости переписывать файлы данных. См. о включении чтения Iceberg на существующем table.

  • Функции проверки UTF-8

    В этом выпуске представлены следующие функции для проверки строк UTF-8:

    • is_valid_utf8 проверяет, является ли строка допустимой строкой UTF-8.
    • make_valid_utf8 преобразует потенциально недопустимую строку UTF-8 в допустимую строку UTF-8 с помощью символов подстановки
    • validate_utf8 вызывает ошибку, если входные данные не являются допустимой строкой UTF-8.
    • try_validate_utf8 возвращаетсяNULL, если входные данные не являются допустимой строкой UTF-8.

  • функции to_avro и from_avro

    Функции to_avro и from_avro позволяют преобразовать типы SQL в двоичные данные Avro и обратно.

  • функция try_url_decode

    В этом выпуске представлена функция try_url_decode , которая декодирует строку, закодированную URL-адресом. Если строка не имеет правильного формата, функция возвращается NULL вместо того, чтобы вызывать ошибку.

  • При необходимости позволяет оптимизатору полагаться на неподдерживающиеся ограничения внешнего ключа.

    Чтобы повысить производительность запросов, теперь можно указать ключевое слово RELY для ограничений FOREIGN KEY при CREATE или ALTERtable.

  • Поддержка удаления ограничений проверки table функции

    Выборочные перезаписи с использованием replaceWhere теперь выполняют задания по удалению данных и добавлению новых данных с помощью insert параллельно, что повышает производительность запросов и использование кластера.

  • Параллельное задание выполняется для выборочных перезаписей

    Выборочные перезаписи с помощью replaceWhere теперь запускают задания, которые одновременно удаляют данные и обрабатывают новые данные с помощью insert, повышая производительность запросов и использование кластера.

  • Улучшена производительность канала измененных данных с выборочными перезаписями

    Выборочные перезаписи с помощью replaceWhere на tables, используя поток данных изменений, больше не создают отдельные файлы изменений для вставленных данных. Эти операции используют скрытые _change_typecolumn, присутствующие в базовых файлах данных Parquet, чтобы фиксировать изменения без усиления записи.

  • Улучшена задержка запросов для команды COPY INTO

    Этот выпуск включает изменение, которое улучшает задержку запроса для COPY INTO команды. Это улучшение реализуется путем загрузки состояния в хранилище состояний RocksDB асинхронно. При этом изменении вы увидите улучшение времени начала запросов с большими состояниями, например запросы с большим количеством уже полученных файлов.

Обновления пользовательского интерфейса

Перечисленные в этом разделе функции не зависят от вычислительных версий хранилища SQL, описанных выше.

Visualizations (Визуализации)

  • Итоговые итоги подсказки теперь отображаются только для диаграмм с накоплением.

22 августа 2024 г.

Visualizations (Визуализации)

Для конфигураций сгруппированных и много полей подсказки теперь отображают итоги при наведении указателя мыши на элементы диаграммы.

15 августа 2024 г.

Visualizations (Визуализации)

Исправлена проблема: номера строк where в визуализациях table не update после изменения размера страницы.

Обнаружение данных

Теперь поддерживается возможность расширения и свертывания сложных вложенных типов column в Unity Catalogtables.

1 августа 2024 г.

Визуализации:

  • Table сортировка теперь сохраняется при изменении данных из-за фильтрации.

Редактор SQL:

  • Повышение удобочитаемости путем добавления дополнительного заполнения между последней строкой запроса и выходными данными результатов.

25 июля 2024 г.

REST API Databricks:

  • API для управления запросами, оповещениями, источниками данных и разрешениями были изменены. Устаревшая версия будет поддерживаться в течение шести месяцев. Этот переходный период предназначен для того, чтобы предоставить достаточно времени для переноса приложений и интеграции в новую версию, прежде чем старая версия будет прекращена. Ознакомьтесь Update с последней версией API DATAbricks SQL

18 июля 2024 г.

Обновления пользовательского интерфейса

Catalog обозревателя:

  • Новый конфигурационный мастер catalog теперь доступен для настройки привязок рабочей области, привилегий catalog и метаданных при создании catalog.

Мониторинг хранилища SQL:

11 июля 2024 г.

Доступно databricks SQL версии 2024.35

Расписание развертывания: предварительная версия для 2024.35: в период с 9 июля по 15 июля

Изменения в версии 2024.35

Отключите сопоставление column с функцией сброса

Теперь можно использовать DROP FEATURE для отключения сопоставления column в Delta tables и понижения уровня протокола table. См. раздел Отключение сопоставления column.

Синтаксис типа variant и функции в общедоступной предварительной версии

Встроенная поддержка Apache Spark для работы с полуструктурированных данных в качестве VARIANT типа теперь доступна в Кадрах данных Spark и SQL. См . сведения о варианте запроса.

Поддержка типа variant для Delta Lake в общедоступной предварительной версии

Теперь вы можете использовать VARIANT для хранения полуструктурированных данных в tables с поддержкой Delta Lake. См . раздел "Поддержка variant" в Delta Lake.

Поддержка различных режимов эволюции schema в views

CREATE VIEW и ALTER VIEW теперь позволяют set режим привязки schema, улучшая то, как views обрабатывают изменения schema в базовых объектах. Эта функция позволяет views терпеть или адаптироваться к schema изменениям в базовых объектах. Он обращается к изменениям в запросе schema в результате изменения определений объектов.

Улучшение производительности некоторых функций window

Этот выпуск включает изменение, которое повышает производительность некоторых функций Spark window, в частности, функций, которые не включают предложение ORDER BY или параметр window_frame. В таких случаях система может перезаписать запрос, чтобы запустить его с помощью агрегатной функции. Это изменение позволяет запросу выполняться быстрее с помощью частичной агрегирования и предотвращения затрат на выполнение window функций. Параметр конфигурации Spark spark.databricks.optimizer.replaceWindowsWithAggregates.enabled управляет этой оптимизацией и по умолчанию установлен с set до true. Чтобы отключить эту оптимизацию, setspark.databricks.optimizer.replaceWindowsWithAggregates.enabledfalse.

Поддержка добавленной try_mod функции

Этот выпуск добавляет поддержку функции PySpark try_mod() . Эта функция поддерживает вычисление целочисленного остатка, совместимого с ANSI SQL, путем деления двух числовых values. Если аргумент делителя равен 0, функция возвращает значение NULL вместо того, try_mod() чтобы вызвать исключение. Вы можете использовать try_mod() функцию вместо mod этого или %исключение, если аргумент делителя равен 0, и включен SQL ANSI.

Обновления пользовательского интерфейса

Редактор SQL:

Встроенный помощник теперь доступен в редакторе SQL. Щелкните значок помощника в поле редактора, чтобы переключить входные данные. Введите вопрос или комментарий на английском языке, а затем нажмите клавишу ВВОД (не SHIFT+ВВОД, который запускает запрос), чтобы generate ответ с другой точкой зрения непосредственно в редакторе.

Platform.

Теперь доступен API для назначений уведомлений. Теперь вы можете программно управлять веб-перехватчиком и назначениями электронной почты для оповещений и уведомлений о выполнении заданий. См . статью "Назначения уведомлений".

4 июля 2024 г.

Доступно databricks SQL версии 2024.30

Расписание развертывания: предварительная версия для 2024.30: между 9 июля и 15 июля

Изменения в версии 2024.30

Федерация Lakehouse общедоступна (GA)

Соединители Федерации Lakehouse в следующих типах баз данных теперь общедоступны.

  • MySQL
  • PostgreSQL
  • Amazon Redshift
  • Снежинка
  • Microsoft SQL Server
  • Azure Synapse (хранилище данных SQL)
  • Databricks

В этом выпуске также представлены следующие улучшения:

  • Поддержка проверки подлинности единого входа в соединителях Snowflake и Microsoft SQL Server .

  • Приватный канал Azure поддержку соединителя SQL Server из бессерверных вычислительных сред. См . шаг 3. Создание правил частной конечной точки.

  • Поддержка дополнительных pushdown(строк, математических, прочих функций).

  • Улучшена скорость успешного выполнения pushdown в разных формах запросов.

  • Дополнительные возможности отладки pushdown:

    • В выходных EXPLAIN FORMATTED данных отображается отложенный текст запроса.
    • Пользовательский интерфейс профиля запроса отображает отложенный текст запроса, идентификаторы федеративного узла и время выполнения запроса JDBC (в подробном режиме). См. статью "Просмотр системных федеративных запросов".

DESCRIBE HISTORY теперь отображает кластеризацию columns для tables, использующих кластеризацию жидкости

При выполнении запроса DESCRIBE HISTORYoperationParameterscolumn отображается поле clusterBy по умолчанию для операций CREATE OR REPLACE и OPTIMIZE. Для Delta table с кластеризацией жидкости, поле clusterBy заполняется кластеризацией columnstable. Если table не использует кластеризацию жидкости, поле пусто.

Общедоступная поддержка первичных и внешних ключей

Общедоступна поддержка первичных и внешних ключей в Databricks Runtime. Выпуск общедоступной версии включает следующие изменения привилегий, необходимых для использования первичных и внешних ключей:

  • Чтобы задать внешний ключ, нужно иметь привилегию SELECT на объекте table с первичным ключом, на который ссылается внешний ключ. Вам не нужно владеть table с первичным ключом, который требовался ранее.
  • Удаление первичного ключа с помощью предложения CASCADE не требует привилегий в tables, определяющих внешние ключи, ссылающиеся на первичный ключ. Ранее вам нужно было иметь в распоряжении упоминаемый объект tables.
  • Удаление table, включающее ограничения, теперь требует те же привилегии, что и удаление tables, которые не включают ограничения.

Чтобы узнать, как использовать первичные и внешние ключи с или , см.предложения , предложенияи предложения.

Отказоустойчивая кластеризация — это общедоступная версия

Поддержка кластеризации жидкости теперь общедоступна с помощью Databricks Runtime 15.2 и более поздних версий. См. раздел «Использование кластеризации жидкости для Delta» tables.

Расширение типов в общедоступной предварительной версии

Теперь можно включить расширение типов на tables с поддержкой Delta Lake. Tables с включенным расширением типов позволяют изменять тип columns на более широкий тип данных без перезаписи базовых файлов данных. См . расширение типов.

Клауза эволюции Schema добавлена в синтаксис слияния SQL

Теперь можно добавить предложение WITH SCHEMA EVOLUTION в оператор SQL MERGE, чтобы включить возможность schema эволюции для операции. См. Schema синтаксис эволюции для объединения.

поддержка инвентаризации Vacuum

Теперь можно указать перечень файлов, которые следует учитывать при выполнении команды VACUUM на Delta table. Ознакомьтесь с документацией по OSS Delta.

Поддержка функций сжатия Zstandard

Теперь можно использовать функции zst_compress, zstd_decompress и try_zstd_decompress для сжатия и распаковки BINARY данных.

Планы запросов в пользовательском интерфейсе SQL теперь отображаются правильно PhotonWriteStage

При отображении в пользовательском интерфейсе write SQL команды в планах запросов неправильно отображались PhotonWriteStage как оператор. В этом выпуске пользовательский интерфейс обновляется для отображения PhotonWriteStage как этапа. Это изменение пользовательского интерфейса только и не влияет на выполнение запросов.

Обновления пользовательского интерфейса

Поддержка API:

  • Теперь вы можете управлять назначениями уведомлений с помощью REST API. См . пункты назначения уведомлений.

27 июня 2024 г.

Фильтры строк и маски Column, а также материализованные views и потоковая передача tables в Databricks SQL находятся в стадии общедоступного предварительного просмотра.

Фильтры строк и маски column в Databricks SQL материализованные views и потоковая передача tables являются общедоступной предварительной версии. Выпуск общедоступной предварительной версии включает следующие изменения:

  • Вы можете добавлять фильтры строк и маски column в материализованное представление Databricks SQL или потоковую трансляцию table.

    • Вы можете определить материализованные представления views или потоковые tables в Databricks SQL на tables, которые включают фильтры строк и маски column.

    См. CREATE MATERIALIZED VIEW и CREATE STREAMING TABLE.

Обновления пользовательского интерфейса

Визуализации:

  • Улучшенная интерактивность при отображении подсказок при наведении указателя мыши на круговую, точечную и тепловую диаграмму с множеством точек данных.

Catalog Обозреватель:

  • Благодаря обновленному пользовательскому интерфейсу обозревателя Catalog стало легче находить и добавлять в избранное последние ресурсы Unity Catalog через представление быстрого доступа . Интерфейс навигации также был упрощен, что позволяет вам изучать вычисления, хранилище, credentials, connections, DBFS и сведения об управлении, используя значок "Параметры "Параметры" в верхнем левом углу экрана. Разностный общий доступ, чистые комнаты и внешние данные теперь имеют выделенные страницы.

6 июня 2024 г.

Исправление для материализованных Databricks SQL views и потоковой передачи tables

Проблема, из-за которой запросы ALTER SCHEDULE в Databricks SQL, материализованные views и потоковые tables, вступают в силу только после выполнения следующей операции REFRESH, была устранена. ALTER SCHEDULE Теперь запросы применяются немедленно. См. статью " Расписание материализованных" обновлений представления.

Материализованные views и потоковая tables в Databricks SQL — в публичном предварительном просмотре

Материализованные views и потоковые tables в Databricks SQL находятся в стадии публичного предварительного просмотра и доступны для всех клиентов. Общедоступный предварительный выпуск включает следующие изменения:

Обновления пользовательского интерфейса

Панели мониторинга:

  • Пользователи учетной записи теперь могут скачать данные визуализации с опубликованных панелей мониторинга
  • Теперь неопубликованные панели мониторинга можно публиковать с помощью раскрывающегося списка "Черновик" или "Публикация " в верхней части панели мониторинга.
  • Исправлена проблема, whereparameters именованные limit не обнаружены.

Визуализации:

  • Улучшенная отрисовка графиков в темном режиме.

Аналитика запросов:

  • Для всех записных книжек, подключенных к хранилищам SQL, можно получить доступ к профилю запроса, щелкнув "Просмотреть производительность " в ячейке, содержащей запрос. Если ячейка содержит несколько запросов, для каждой инструкции предоставляется ссылка на профиль запроса.

30 мая 2024 г.

Новый уровень разрешений для хранилищ SQL

Может отслеживать разрешения, позволяющие пользователям отслеживать хранилища SQL, включая связанные профили журнала запросов и запросов. Разрешение "Может отслеживать " теперь в общедоступной предварительной версии. См . списки управления доступом к конечным точкам поиска вектора.

Обновления пользовательского интерфейса

Улучшения панели мониторинга:

  • Добавлено меню кебаб в мини-приложения панели мониторинга для скачивания изображений и данных.
  • Пользователи могут перенести выпадающее меню listparameters и parameters, поддерживаемые запросами устаревшего дашборда, на панели мониторинга.

23 мая 2024 г.

Обновления пользовательского интерфейса

  • Теперь вы можете select несколько элементов в рабочей области для перемещения или удаления. При выборе нескольких объектов отображается панель действий и предоставляет параметры перемещения или удаления элементов. Кроме того, вы можете select несколько элементов с помощью мыши и перетащить их в новое расположение. Существующие разрешения на объекты по-прежнему применяются во время операций массового перемещения и удаления.
  • Теперь вы можете пометить ресурсы Unity Catalog как избранное в обозревателе Catalog и браузере Schema. К ним относятся catalogs, схемы, tables, модели, volumesи функции. Ресурсы Unity Catalog, которые вы помечаете как избранное, легко доступны на домашней странице Azure Databricks.

Обновления панели мониторинга:

  • Диаграммы со списком двойной оси теперь правильно отображают условные обозначения панели на правой оси и условные обозначения линий соответствующим образом.
  • Теперь диаграммы двойной оси теперь правильно отображают метки на полосах.

Обновления визуализаций:

  • Метки условного формата в редакторе table для , если и , то, теперь поддерживают темный режим.
  • Из редакторских подсказок по форматированию удалён избыточный значок открытой ссылки table.
  • Метка цвета шрифта по умолчанию в редакторе table теперь автоматически выравнивается.

16 мая 2024 г.

Расписание развертывания

  • Предварительный выпуск для версии 2024.25: завершено 1 мая
  • Текущее развертывание для 2024.25: с 14 мая по 21 мая

Примечание.

Обновление до библиотеки Python panda (версия 2.0.3) вызвало критическое изменение в Databricks SQL версии 2024.20. Azure Databricks не развернула версию 2024.20 в текущем канале. Вместо этого канал предварительной версии был обновлен до 2024.25 1 мая 2025 года. Текущий выпуск канала выходит непосредственно с 2024.15 по 2024.25.

Изменения в версии 2024.25

Управление данными

Передача учетных данных и хранилище метаданных Hive, table средства контроля доступа, устарели.

Передача учетных данных и доступ к хранилищу метаданных Hive table относятся к устаревшим моделям управления данными. Обновите до Unity Catalog, чтобы упростить безопасность и управление данными, предоставив централизованное место для администрирования и аудита доступа к данным в нескольких рабочих областях в вашей учетной записи. См. Что такое Unity? Catalog.

Поддержка передачи учетных данных и хранилища метаданных Hive и управления доступом table будет удалена в будущей версии DBR.

Функции языка SQL

Звездочка (*) теперь поддерживается в условии WHERE.

Теперь можно использовать звёздное предложение (*) в предложении WHERE, чтобы ссылаться на все columns из SELECTlist. Например, SELECT * FROM VALUES(1, 2) AS T(a1, a2) WHERE 1 IN(T.*).

Поддержка хранилища Cloudflare R2 для предотвращения исходящих сборов между регионами с 2024.15

Теперь вы можете использовать Cloudflare R2 в качестве облачного хранилища для данных, зарегистрированных в Unity Catalog. Cloudflare R2 предназначен в основном для вариантов использования Delta Sharing, в которых вы хотите избежать сборов за исходящий трафик, взимаемых облачными providers при пересечении данных между регионами.

Хранилище Cloudflare R2 поддерживает все данные Databricks и ресурсы ИИ, поддерживаемые в Azure Data Lake Storage 2-го поколения.

См. статью "Использование реплик Cloudflare R2" или миграции хранилища в R2 и создание учетных данных хранения для подключения к Cloudflare R2.

Обновления пользовательского интерфейса

Перечисленные в этом разделе функции не зависят от вычислительных версий хранилища SQL, описанных выше.

обновления обнаружения данных. Мастер хранилища метаданных Hive в Catalogupdate Unity поддерживает обновление управляемых tables хранилища метаданных Hive с помощью вычислительных ресурсов или хранилищ SQL. Обновление более 20 tables создает новую записную книжку, содержащую команды SYNC AND ALTER TABLE, которые выполняют преобразование.

Обновления панели мониторинга:

  • Функции двойной оси теперь доступны для типов точечной диаграммы, области, линейчатой линии и точечной диаграммы.
    • При включении двухосьевой диаграммы заголовок и диапазон осей больше не копируются на вторичную ось.
    • Последнее поле, определенное в конфигурации визуализации, автоматически перемещается на ось y справа.

9 мая 2024 г.

Исправления редактора SQL:

  • Параметр администратора функции буфера обмена table теперь применяется к новому результату tableSQL редактора.

Улучшения панели мониторинга:

  • Запросы из parameters позволяют авторам определять list доступных для выбора values, которые зрители могут использовать в качестве parameters для других визуализаций на холсте дэшборда. См. использование parametersна основе запросов.
  • Column порядок файлов, загруженных из мини-приложения table, теперь сохраняется.
  • Редактор table теперь содержит всплывающие подсказки, которые отображают имена columns.
  • При переходе с других типов визуализаций на гистограмму кодирование сведений теперь лучше сохраняется.

Исправления панели мониторинга:

  • Исправлена проблема: where, при которой фильтр высоты одной сетки отображал ненужную полосу прокрутки переполнения.
  • Исправлена проблема, из-за которой неправильно отрисовывали визуализации на опубликованных панелях мониторинга, where был удален указанный набор данных column.

2 мая 2024 г.

Обновления панели мониторинга:

  • Теперь запросы и визуализации можно скопировать на новую панель мониторинга из редактора SQL. Визуализации по-прежнему можно добавлять в устаревшие панели мониторинга из редактора SQL. См. статью "Изменить", скачать или добавить на панель мониторинга.
  • Теперь панели мониторинга будут поддерживать кэш результатов 24 часа, чтобы optimize время начальной загрузки. См . статью "Оптимизация набора данных" и кэширование.
  • Линейчатые диаграммы с категориальными X и количественными Y теперь сортируются в ответах Помощника Databricks.
  • Исправлена проблема миграции с устаревшей гистограммой COUNT (*) , чтобы обеспечить точную миграцию.
  • Реализована возможность смешивания числовых типов и типов дат в мини-приложении фильтра.
  • При создании диаграмм помощник Databricks теперь автоматически предлагает соответствующие columns по мере ввода.

Обновления визуализации:

  • Выбранный пользователем цвет для tables теперь сохраняется в светлых и темных режимах в устаревших диаграммах.
  • Улучшена логика усечения данных для повышения производительности в диаграммах со списком, круговой, тепловой карты и гистограммы.
  • Отметка галочки теперь всегда отображается в верхней части количественной оси для базовых диаграмм.

23 апреля 2024 г.

Обновления пользовательского интерфейса:

  • Для всех диалоговых окон общего доступа в пользовательском интерфейсе All Users группа была переименована All Workspace Usersв . Новое имя более точно отражает область группы, которая всегда включала пользователей, назначенных рабочей области. Изменения не вносятся в членство в группах в рамках этого переименования.

Улучшения панели мониторинга:

  • При запуске хранилища SQL панели мониторинга появится диалоговое окно explain времени ожидания.
  • Позиция прокрутки сохраняется при переключении между вкладками "Холст " и "Данные ".
  • Клонирование устаревшей панели мониторинга для создания панели мониторинга Lakeview теперь поддерживает некоторые преобразования параметров. См. раздел Настройка устаревших parameters.
  • Относительные даты, такие как сегодня, завтраи 7 дней назад, теперь поддерживаются для даты и даты времени parameters.
  • Ползунки диапазона чисел можно добавить в качестве фильтров на панели мониторинга.
  • Гистограммы теперь могут отображать разделенные данные.
  • Точечная диаграмма теперь поддерживает кодировку размера.

Исправления панели мониторинга:

  • Кодировка темпоральных цветов теперь может правильно изменять назначения цветов.

Обновления визуализации:

  • Пользовательские форматы инструментов теперь работают правильно для диаграмм с несколькими оси.
  • Новый тег предварительной версии диаграмм удаляется, когда пользователи не изменили переключатель за последние 14 дней.

18 апреля 2024 г.

Панели мониторинга Lakeview являются общедоступными

Панели мониторинга Lakeview теперь являются средством мониторинга по умолчанию. Они были переименованы в качестве панелей мониторинга в пользовательском интерфейсе. Панели мониторинга SQL Databricks теперь называются устаревшими панелями мониторинга. Имена связанных средств API не изменились.

  • Улучшения панели мониторинга:
    • Журналы аудита доступны для панелей мониторинга Lakeview. См . события панелей мониторинга.
    • Данные, скачанные с панелей мониторинга, соответствуют применённым условиям parameters.
    • Помощник по Databricks включен на вкладке "Данные " без добавления наборов данных.
    • Стекированные линейчатые диаграммы с несколькими полями Y могут поддерживать сортировку оси X на основе суммы оси Y values.
    • Переключение между функциями линейного и симметричного масштабирования в меню осей визуализации.
    • Размер мини-приложения фильтра по умолчанию теперь более компактный.
    • Начальное время загрузки мини-приложения фильтра ввода текста сократилось.
    • Улучшены автоматические преобразования диаграмм при миграции с устаревших панелей мониторинга.
  • Исправления панели мониторинга:
    • Предупреждение о параметрах ограниченного просмотра не отображается, если панель мониторинга была предоставлена другим пользователям.
    • Сообщения об ошибках в редакторе SQL вкладки "Данные " теперь включены в темном режиме.

Обновления пользовательского интерфейса

Перечисленные в этом разделе функции не зависят от описанных выше вычислительных версий хранилища SQL.

Улучшения:

  • Подсказки на диаграммах с накоплением теперь отображают значение стека и процент по умолчанию.
  • Подсказки для диаграмм с несколькими оси теперь выделяют наведенный элемент.
  • визуализации Table для Databricks SQL теперь адаптируют новый тип данных результата запроса при редактировании в редакторе SQL.
  • В Catalog обозревателе журнала запросов table отображается древовидное представление для атрибуции источника запросов . Это можно использовать для просмотра того, какие сущности активировали инструкцию запроса для выполнения.

11 апреля 2024 г.

Обновления пользовательского интерфейса

Перечисленные в этом разделе функции не зависят от описанных выше вычислительных версий хранилища SQL.

Улучшения:

  • Теперь можно сгруппировать по процентам при создании визуализаций в Databricks SQL и записных книжках.
  • Для новых диаграмм (в общедоступной предварительной версии) можно увеличить масштаб по одной оси, щелкнув и перетащив прямую линию параллельно с осью.
  • Общий кластер Catalog Unity пользовательский интерфейс allowlist теперь доступен. Вы можете получить доступ к нему на странице сведений о хранилище метаданных в обозревателе Catalog. Узнайте , как добавить элементы в список разрешений.
  • Формы для создания и редактирования внешних расположений теперь открываются в виде полной страницы. Они включают параметр включения учетных данных хранения.

Исправления:

  • Исправлена проблема с гистограммами, где элементы where, которые должны быть отрицательными, values были ошибочно помечены как положительные.

4 апреля 2024 г.

Обновления пользовательского интерфейса

Перечисленные в этом разделе функции не зависят от описанных выше вычислительных версий хранилища SQL.

Улучшения:

  • Улучшения гистограммных диаграмм на панелях мониторинга Lakeview.

    • Добавлена поддержка меток.
    • Параметры корзины теперь сохраняются при переключении между различными полями.

  • Коллекция примеров на странице описания панели мониторинга теперь создает панели мониторинга Lakeview. См . руководство. Использование примеров панелей мониторинга.

  • Щелкнув правой кнопкой мыши границу мини-приложения на панели мониторинга Lakeview, откроется контекстное меню.

  • Панель навигации слева сохраняется для пользователей рабочей области, просматривая опубликованные панели мониторинга Lakeview.

  • Выбор фильтров сохраняется при переходе между опубликованными и черновиками панелей мониторинга Lakeview.

  • теперь имена Column можно вставить в редактор SQL при редактировании запроса на вкладке данных в черновике панели мониторинга Lakeview.

  • Замена панели мониторинга Lakeview сохраняет существующее имя панели мониторинга и заменяет содержимое.

  • Переключение визуализаций между тепловыми картами и другими типами диаграмм теперь сохраняет соответствующие поля лучше.

Исправления:

  • Линейчатые диаграммы с кодировками цветов теперь правильно ограничивают добавление нескольких полей оси Y.
  • Устранена проблема where: в некоторых визуализациях отсутствовала кнопка загрузки в формате PNG.
  • Исправленное форматирование для отрицательных целых чисел, которые ранее отсутствуют тысячи разделителей.
  • Исправлено неправильное размещение линии наведения указателя мыши при наведении указателя на метки на линейные диаграммы.

28 марта 2024 г.

Доступно databricks SQL версии 2024.15

Расписание развертывания

  • Предварительная версия развертывания для 2024.15: с 14 февраля по 4 марта
  • Текущее развертывание для 2024.15: между 25 марта и 8 апреля

Изменения в версии 2024.15

Разностные обновления

  • Delta UniForm теперь общедоступен: UniForm теперь общедоступен и использует функцию table IcebergCompatV2. Теперь вы можете включить или обновить UniForm на уже существующей tables. См. Read Delta tables с клиентами Iceberg.
  • Перекомпьютерировать статистику пропуска данных для Delta tables: теперь можно перекомпьютировать статистику, хранящуюся в журнале Delta после изменения columns, используемой для пропуска данных. См. раздел Указание статистики delta columns.

Обновления языка SQL

  • Объявлять временные переменные в сеансе SQL: этот выпуск представляет возможность объявлять временные переменные в сеансе, который можно set, а затем ссылаться на запросы. См . переменные.
  • Поддержка формата собственного XML-файла (общедоступная предварительная версия ): поддержка формата собственного XML-файла теперь доступна в общедоступной предварительной версии. Поддержка формата XML-файла позволяет получать, запрашивать и анализировать XML-данные для пакетной обработки или потоковой передачи. Он может автоматически выводить и развивать schema и типы данных, поддерживать выражения SQL, такие как from_xml, и могут generate XML-документы. Для этого не требуются внешние jar-файлы и легко работает с автозагрузчиком, read_files, COPY INTOи Delta Live Tables. См. статью "Чтение и запись XML-файлов".

Обновления APACHE Spark SQL

Databricks SQL 2024.15 включает Apache Spark 3.5.0. Дополнительные исправления ошибок и улучшения для SQL перечислены в заметке о выпуске Databricks Runtime 14.3. См. Apache Spark и найдите тег [SQL] для полного list.

Обновления пользовательского интерфейса

Перечисленные в этом разделе функции не зависят от описанных выше вычислительных версий хранилища SQL.

  • На новой вкладке обзора на странице сущности в обозревателе Catalog отображаются важные метаданные, такие как размер файла, данные источника, владелец, tableschemaи примечания.

  • Обновления панели мониторинга Lakeview:

    • Панели мониторинга Lakeview теперь поддерживают parameters. Авторы могут добавлять parameters в запросы набора данных на вкладке Данные, а затем setparameters на холсте с помощью селекторов с одним значением и средств выбора дат. См. работа с панелью мониторинга parameters.
    • Панели мониторинга Lakeview теперь поддерживаются в API разрешений рабочей области. См. статью PATCH /api/workspace/workspace/updatepermissions в справочнике по REST API.
    • Мини-приложения управления на холсте были переименованы в "Фильтр мини-приложений".
    • Диаграммы со списком больше не разрешают разделенные поля на оси x.
    • Кнопка Копировать ссылку в диалоговом окне "Общий доступ" теперь включает parameters, хранящиеся в URL-адресе.
    • Мини-приложения на опубликованных панелях мониторинга больше не отображают границы при наведении указателя мыши.
    • Устранена проблема where, когда ассистент Databricks и кнопки загрузки PNG перекрываются с визуальными элементами диаграммы.

  • Переключение визуализаций между тепловыми картами и другими типами диаграмм теперь лучше сохраняет соответствующие поля.

  • Линейчатые диаграммы с кодировками цветов теперь правильно ограничивают добавление нескольких полей оси Y.

21 марта 2024 г.

  • Модель Unity Catalog теперь доступна в общедоступной пробной версии.

Теперь представление table в обозревателе Catalog содержит вкладку Обзор, чтобы описать его первичные метаданные.

  • Хранилища SQL для записных книжек, теперь общедоступные, позволяют использовать полностью управляемые, мгновенные и масштабируемые вычислительные ресурсы для рабочих нагрузок SQL в полнофункциональную среду совместной разработки записной книжки. См . статью "Использование записной книжки с хранилищем SQL".

Следующие исправления и улучшения применяются к панелям мониторинга Lakeview:

  • Расширенная поддержка API для Lakeview предоставляет возможность создавать, get, updateи удалять панели мониторинга. См . справочник по REST API в Lakeview .
  • Добавлена кнопка для браузера на вкладке данных .
  • Панели мониторинга Lakeview теперь отображаются перед панелями мониторинга в меню "Создать " на боковой панели рабочей области. На странице описания панели мониторинга вкладка "Панели мониторинга Lakeview" отображается слева от вкладки "Панели мониторинга".
  • Интерфейс Помощника Databricks для Lakeview был обновлен с помощью поля ввода и предложений, чтобы повысить удобство обнаружения и помочь пользователям понять запросы, которые они могут представлять.
  • Визуализации Lakeview теперь поддерживают агрегаты медиана.
  • Обновлено средство выбора цветов в редакторе визуализации панели мониторинга Lakeview для более удобного взаимодействия с пользователем при создании tables.
  • Улучшена миграция круговой диаграммы для поддержки исключительно сценариев с определениями угла или цвета.
  • Исправлена ошибка, предотвращающая группирование по именованным диаграммам. Теперь диаграммы можно сгруппировать по полям с именем count.
  • Для линейчатых диаграмм элементы управления макетом групп и стека теперь скрыты, если это не применимо к выбранной пользователем конфигурации.

14 марта 2024 г.

Для панелей мониторинга Lakeview:

  • Гистограммы теперь поддерживают пользовательские категориальные цвета.

    • Тепловые карты теперь поддерживают количественные шкалы.
    • Названия и описания сохраняются при переключении между типами визуализаций, включая диаграммы со списком.
    • Теперь можно открыть базовый набор данных, связанный с мини-приложением черновика панели мониторинга, щелкнув его правой кнопкой мыши. Набор данных откроется на вкладке "Данные ".

  • Новые диаграммы теперь применяют псевдонимы и настраиваемые цвета для null values в числовых columns.

  • Новые диаграммы теперь отображают галочки, чтобы отобразить верхнюю часть оси y.

7 марта 2024 г.

  • При просмотре table в проводнике Catalog, кнопка "Создать" включает возможность создания дашборда Lakeview, а не дашборда Databricks SQL.

  • Гистограммы теперь доступны для панелей мониторинга Lakeview. Гистограммы обычно используются для визуализации распределения числового поля.

  • При клонирование панели мониторинга Databricks SQL для создания панели мониторинга Lakeview проблемы преобразования набора данных теперь отображаются как ошибки в новом мини-приложении на панели мониторинга Lakeview.

  • Цветовые градиенты доступны, если числовое поле используется для визуализации на панели мониторинга Lakeview.

  • Градиенты цветов теперь предоставляются в редакторе визуализации панели мониторинга Lakeview при указании цвета по полю .

  • Название и описание, связанные с визуализацией, больше не отображаются редактируемыми, если средство просмотра не имеет прав редактирования привилегий на панели мониторинга Черновика Lakeview.

  • Исправлена проблема, когда подсказки where в диаграммах с более чем 100 сериями неправильно показывали все серии. Теперь отображается только фокусный ряд.

  • Сокращение задержки ввода в редакторе SQL на 30 % с помощью оптимизации производительности.

  • При управлении запросами в редакторе SQL перемещение запроса в корзину автоматически закрывает вкладку.

  • Исправлена проблема в редакторе SQL: текст where случайно выбирался при настройке ширины боковой панели.

29 февраля 2024 г.

  • Браузер schema в обозревателе Catalog теперь отображает ограничения первичных и внешних ключей column.

  • Время хранения, показанное на вкладке "Происхождение" в обозревателе Catalog, увеличилось до одного года.

  • Подсказки на новых диаграммах в записных книжках теперь всегда отображаются внутри границы визуализации.

  • Узнайте, как программно управлять панелями мониторинга Lakeview с помощью REST API. См. раздел "Управление панелями мониторинга с помощью API рабочей области".

  • Панели мониторинга Lakeview теперь поддерживают гистограммы.

  • Улучшен общий доступ и публикация на панелях мониторинга Lakeview:

    • Улучшены диалоги общего доступа и публикации, что позволяет безопасно и легко предоставлять общий доступ любому пользователю учетной записи.
    • Панели мониторинга, открытые в браузере рабочей области, показывают опубликованную панель мониторинга, если она существует. Теперь зрители могут видеть также сведения о последней опубликованной версии, включая издателя, время и credentials.
    • Для редакторов новый раскрывающийся список в пользовательском интерфейсе панели мониторинга Lakeview позволяет быстро перемещаться между черновиками и опубликованными версиями.

Февраль 22, 2024

  • Улучшения вкладки примеров данных в представлении обозревателя Catalogtable позволяют сортировать columns, копировать выбранные данные в буфер обмена и просматривать номера строк. Теперь он может лучше отображать специальные values, такие как объекты JSON, даты, числовые и нулевые значения values.

  • Панели мониторинга Lakeview теперь поддерживают отправку периодических моментальных снимков PDF панели мониторинга пользователям рабочей области и назначениям уведомлений. См . сведения о расписаниях и подписках.

  • В раскрывающемся списке Lakeview параметры визуализации list теперь отсортированы по алфавиту.

  • При копировании панелей мониторинга Databricks SQL в панели мониторинга Lakeview мини-приложения, которые теперь не могут быть преобразованы, отображают средство выбора конфигурации визуализации вместо сообщения об ошибке.

15 февраля 2024 г.

  • Документация по фильтрам запросов на основе кода, например SELECT action AS 'action::filter', была удалена. Databricks рекомендует обновлять запросы в соответствии с этой моделью remove.

  • Для панелей мониторинга Lakeview круговая диаграмма теперь отображает срезы равных размеров, если поле угла не указано.

  • Lakeview теперь поддерживает комбинированные диаграммы, которые объединяют барные (столбчатые) и линейные диаграммы для отображения двух разных values на одной диаграмме.

  • Диаграммы тепловой карты, использующие интенсивность цвета для отображения величины корреляции между двумя дискретными переменными, теперь доступны в Lakeview.

8 февраля 2024 г.

  • Теперь вы можете запросить доступ при открытии ссылки на панель мониторинга Lakeview, в ней нет разрешений.
  • Теперь фильтры панели мониторинга Lakeview имеют явные параметры "Все " и "Нет ". Авторы могут скрыть параметр All в отдельных фильтрах select.
  • Теперь можно set минимальное и максимальное values для осей на диаграммах панели мониторинга Lakeview.

1 февраля 2024 г.

Доступно databricks SQL версии 2024.10

Расписание развертывания

  • Предварительный выпуск для 2024.10: между 30 января 2024 г. и 5 февраля 2024 г.
  • Текущее развертывание для 2024.10: с 13 февраля 2023 по 20 февраля 2024 г.

Изменения в версии 2024.10

  • Исправлена обработка поврежденных файлов в командах DML: команды DML и DELETEUPDATE больше не учитывают параметры MERGE INTO чтения иignoreCorruptFiles.ignoreMissingFiles При обнаружении нечитаемого файла в tableэти команды теперь завершаются ошибкой, даже если указаны эти параметры.
  • Параллелизм на уровне строк является общедоступным и по умолчанию: параллелизм на уровне строк уменьшает конфликты между параллельными операциями записи, обнаруживая изменения на уровне строк. Параллелизм на уровне строк поддерживается только в tables без секционирования, включая tables с жидкостной кластеризацией. Строковый параллелизм по умолчанию активирован для Delta tables при активированных векторах удаления. См. статью "Конфликты записи с параллелизмом на уровне строк".
  • Неглубокое клонирование для Unity Catalog внешних tables (общедоступная предварительная версия): теперь можно использовать неглубокое клонирование с Unity Catalog внешних tables. См. раздел Поверхностное клонирование для Unity Catalogtables.
  • Более быстрая многопоточная сборка статистики: сбор статистики до 10 раз быстрее в небольших кластерах при выполнении CONVERT TO DELTA или клонировании из Iceberg и Parquet tables. См. раздел Convert to Delta Lake и добавочно клонировать Parquet и Iceberg tables в Delta Lake.
  • фильтры Pushdown в DeltaSource: Для более эффективного использования, partition фильтры в потоковых запросах Delta tables теперь перенаправляются в Delta до применения ограничения скорости.

Обновления пользовательского интерфейса

Перечисленные в этом разделе функции не зависят от вычислительных версий хранилища SQL, описанных выше.

  • Вкладка "Представление администратора" на страницах с описанием объектов SQL Databricks (запросы, панели мониторинга и оповещения) была удалена. Пользователи администраторов рабочей области могут просматривать все объекты на соответствующих страницах списка. См. статью "Доступ" и управление сохраненными запросами, устаревшими панелями мониторинга и оповещениями Databricks SQL?.

  • На странице журнала запросов отображаются запросы за последние 24 часа по умолчанию. См . журнал запросов.

  • В пользовательский интерфейс панели мониторинга Databricks SQL добавлен параметр меню "Клонировать на панель мониторинга Lakeview". Это средство можно использовать для создания панели мониторинга Lakeview, которая включает те же запросы и визуализации в существующих панелях мониторинга Databricks SQL. См . статью клонирование устаревшей панели мониторинга на панель мониторинга AI/BI.

  • Линейчатые диаграммы на панелях Lakeview поддерживают стековые полосы для нормализации до 100 %.

  • Исправлена проблема, where увеличение на опубликованной панели мониторинга Lakeview привело к тому, что она сфокусировалась на неверных уровнях увеличения.

24 января 2024 г.

  • Холст панели мониторинга Lakeview автоматически настраивает размещение мини-приложений на remove пустое вертикальное пробелы между строками, когда это возможно.
  • Сокращено пробелы между заголовком и текстом описания в визуализациях панели мониторинга Lakeview.

18 января 2024 г.

  • Исправлена проблема отрисовки для визуализаций where гистограмм, показывающих одну дату на оси x, что приводило к отображению очень тонкой полосы. Новые визуализации диаграммы отображаются должным образом.

  • На странице описания панели мониторинга Lakeview отображаются панели мониторинга по умолчанию. Фильтры на этой странице можно использовать для доступа к панелям мониторинга Lakeview, принадлежащим другим пользователям рабочей области.

11 января 2024 г.

  • API-интерфейсы запросов и панелей мониторинга Databricks поддерживают изменение параметра роли запуска от имени программно.

  • Lakeview поддерживает экспорт и импорт панелей мониторинга в виде файлов для упрощения воспроизведения черновиков панелей мониторинга в рабочих областях. См. статью "Экспорт, импорт или замена панели мониторинга"

4 января 2024 г.

  • В Catalog Explorer появились схемы связей первичных ключей и внешних ключевых сущностей. Просмотр схемы связей сущностей.

21 декабря 2023 г.

  • Тип визуализации Lakeview Counter показывает цвета при сравнении BigIntvalues в основных полях Значение и Цель.

  • Подсказки, которые отображаются при переключении видимости column на tables в Lakeview, были улучшены. Они ведут себя должным образом и не сохраняются.

  • Теперь пользователи могут использовать Помощник по Databricks для создания визуализаций в Lakeview. См. статью "Создание визуализаций с помощью Помощника по Databricks".

  • Для новых диаграмм диаграмм тип тепловой карты учитывает обратный параметр.

  • Исправлена проблема с производительностью отрисовки записных книжек с большим количеством визуализаций.

14 декабря 2023 г.

  • Исправлена ошибка where, панели мониторинга Lakeview не отображались на странице списка Lakeview без ручного вмешательства refresh.
  • Используйте экранный ключ, чтобы отменить создание мини-приложения Lakeview при его размещении на холсте.
  • Catalog Explorer теперь отображает векторные индексы поиска в пользовательском интерфейсе в рамках Mosaic AI Vector Search общедоступной предварительной версии.

7 декабря 2023 г.

Обновления пользовательского интерфейса

  • Панели мониторинга Lakeview можно добавлять в избранное для быстрого доступа.

  • При разработке панели мониторинга Lakeview поддерживаются сочетания клавиш копирования и вставки. Кроме того, ключ удаления удаляет выбранные мини-приложения.

  • Расширенные заголовки и описания мини-приложений Lakeview, чтобы предотвратить вырезку текста во время загрузки.

  • Исправлены проблемы форматирования визуализации: большие целые числа where и values ошибочно отображались как числа с плавающей запятой.

  • Исправлена проблема с панелями мониторинга Databricks SQL, когда развернутая диаграмма where и диаграмма views иногда отображались пустыми.

  • Линейчатые диаграммы с количественными полями на осях X и Y отображают более понятные метки данных.

  • Исправлена проблема в редакторе SQL, из-за которой tables с словом stream в заголовке более не конфликтует с зарезервированным ключевым словом. Эти tables теперь отображаются в браузере schema и не подсвечиваются как ошибка.

  • Страница истории запросов теперь поддерживает column изменение размера и column выбор.

  • Страница журнала запросов поддерживает два новых columns: источник запроса и тип источника запроса .

  • Опции BI, такие как Tableau и Power BI, проще найти в обозревателе Catalog на подходящих страницах.

30 ноября 2023 г.

Обновления пользовательского интерфейса

Перечисленные в этом разделе функции не зависят от вычислительных версий хранилища SQL, описанных выше.

  • Круговые диаграммы в Lakeview теперь могут иметь настраиваемые цветовые назначения.

  • Преобразования визуализации в Lakeview теперь сохраняются при переключении между совместимыми типами полей.

  • Добавлены параметры заголовка для угловых каналов круговой диаграммы Lakeview.

  • Раскрывающийся список набора данных Lakeview теперь доступен для упрощения навигации.

  • Lakeview поддерживает полное числовое отображение для values, если оно меньше 10 000, устраняя сокращения.

  • Добавлена возможность для полей категориальных дат цветового кода в Lakeview.

  • Теперь пользователи Lakeview могут выделять условные обозначения диаграммы с помощью курсора, чтобы копировать и вставлять values.

  • Круговые диаграммы в Lakeview теперь имеют параметр переключателя метки.

  • Стандартизован цвет синего цвета по умолчанию для всех визуализаций Lakeview.

  • Lakeview column значки в преобразованиях теперь согласованно соответствуют используемому методу преобразования.

  • Элементы управления в панели редактирования Lakeview теперь автоматически упаковываются для повышения удобочитаемости.

  • Выпущен расширенный редактор цветов для визуализаций Lakeview.

  • Элемент управления условиями шрифта table в Lakeview теперь обернут для улучшения читаемости.

  • Улучшена совместимость темного режима для меток в новых диаграммах.

  • Новые диаграммы теперь последовательно определяют приоритеты меток в полосах.

  • Исправлена ошибка, where некоторые действия меню правой кнопкой мыши не работали в редакторе SQL.

16 ноября 2023 г.

Обновления пользовательского интерфейса

Перечисленные в этом разделе функции не зависят от вычислительных версий хранилища SQL, описанных выше.

  • Запросы, оповещения и панели мониторинга Databricks SQL имеют новый планировщик и интерфейс планирования.

  • Мини-приложения Lakeview теперь проще изменять размер из-за более крупной зоны триггера изменения размера.

  • Теперь администраторы рабочей области могут изменить владельца панели мониторинга Lakeview. В режиме редактирования на панели мониторинга Lakeview:

    • Нажмите кнопку "Общий доступ"
    • Щелкните Значок шестеренки.
    • Нажмите кнопку " Назначить нового владельца"

  • Пользователи могут переключать метки в Lakeview или отключать их.

Визуализации:

  • Новые метки диаграмм теперь настоятельно предпочитают находиться внутри панели, когда это возможно.
  • Новые метки диаграмм теперь отображаются правильно на сложенных полосах, которые достаточно широки, чтобы отобразить всю метку.
  • Цвета меток внутри линейчатых диаграмм теперь более согласованны.

9 ноября 2023 г.

Изменения в версии 2023.50:

Главное:

Обновления языка SQL: добавлены следующие встроенные функции:

  • from_xml: анализирует XML-файл STRING в STRUCT.
  • schema_of_xml: наследует schema из XML-STRING.
  • session_user: возвращает пользователя, вошедшего в систему.
  • try_reflect: возвращает вместо исключения, если метод Java завершается NULL ошибкой.

Были улучшены следующие встроенные функции:

  • вызов функции. Table аргументы функций поддерживают секционирование и упорядочивание. Теперь можно использовать предложения PARTITION BY и ORDER BY для управления передачей аргументов функции table.
  • mode: поддержка необязательного параметра, заставляющего детерминированный результат.
  • to_char: новая поддержка DATE, TIMESTAMPи BINARY.
  • to_varchar: новая поддержка DATE, TIMESTAMPи BINARY.
  • array_insert() имеет значение 1 для отрицательных индексов: array_insert функция основана на 1 для положительных и отрицательных индексов. Теперь он вставляет новый элемент в конец входных массивов для индекса -1.

Обновления пользовательского интерфейса

Перечисленные в этом разделе функции не зависят от описанных выше вычислительных версий хранилища SQL.

Визуализации:

  • Подсказки для новых диаграмм отображают только наведенные элементы для диаграмм высокой кратности.
  • Новые диаграммы автоматически выравнивают диаграммы с двумя оси от нуля.
  • Диаграммы изменили повернутую метку и направление угла текста оси с -90 до 90 градусов.
  • Диаграммы теперь используют ширину метки для выбора поворота.

Панели мониторинга Lakeview:

  • Исправление:Table строки на панелях мониторинга Lakeview больше не добавляют вертикальный отступ, если возвращается только небольшое количество строк.
  • Клонирование нового мини-приложения панели мониторинга Lakeview сначала пытается поместить клон справа от исходного, если на холсте достаточно места. Если недостаточно места, клон помещается ниже исходного.
  • Теперь вы можете переназначить владельца панели мониторинга Lakeview с помощью диалогового окна "Общий доступ".

Редактор SQL: автозавершение теперь менее агрессивное и автоматически закрывается в конце инструкций

2 ноября 2023 г.

Улучшения:

Ниже приведены улучшения в происхождении панели мониторинга Lakeview:

  • Добавлены различные значки для tables, viewsи материализованные views.
  • Добавлена поддержка вертикальной прокрутки в случае большого количества источников данных вышестоящего потока.
  • Улучшено сообщение об ошибке, если средство просмотра не имеет разрешений на вышестоящий объект.
  • Прояснена информация о примерах данных tables и данных HMS.
  • Добавлены теги значений ключа для вышестоящих источников данных.

Исправление:

  • Исправлена проблема в новых диаграммах, что предотвращала их отрисовку после переименования ряда с булевым типом values.

26 октября 2023 г.

Изменения в Databricks SQL версии 2023.45

Главное:

Оптимизация запросов:

  • Удален внешний join, если каждая из них является отдельной агрегатной функцией. SPARK-42583
  • Оптимизирован порядок фильтрации предикатов. SPARK-40045

Обновления функций SQL:

  • Добавлена поддержка неявного разрешения бокового псевдонима column для Aggregate. SPARK-41631
  • Поддержка неявного поперечного алиаса (псевдонима) column в запросах с Window. SPARK-42217
  • Поддержка Datasketches HLLSketch. См . hll_sketch_agg агрегатную функцию.
  • Добавлена try_aes_decrypt() функция. См . try_aes_decrypt функцию.
  • Поддержка режима CBC для aes_encrypt() и aes_decrypt(). См . aes_decrypt функцию.
  • Добавьте псевдонимы функций 3-args DATE_ADD и DATE_DIFF.
  • Добавлена поддержка aes_encrypt IVs и AAD. SPARK-43290
  • Реализуйте функции растрового изображения. SPARK-44154
  • Добавлен to_varchar псевдоним для to_char. См . to_varchar функцию.
  • Добавлена array_compact поддержка. См . array_compact функцию.
  • Поддержка udf luhn_check. См . luhn_check функцию.
  • Добавлена поддержка анализатора именованных аргументов для встроенных функций. SPARK-44059
  • TABLE Поддержка правила синтаксического анализа аргументов для TableValuedFunction. SPARK-44200
  • array_insert Теперь сбой с индексом 0. SPARK-43011
  • Добавлено NULLvalues для INSERT с пользовательскими списками, содержащими меньше columns, чем целевые table. SPARK-42521
  • DECODE функция возвращает неправильные результаты при передаче NULL. SPARK-41668

Обновления пользовательского интерфейса

Улучшения:

  • Редактор SQL Lakeview теперь поддерживает сочетания клавиш для выполнения запросов.

  • Фильтры в Lakeview теперь list быстрые относительные диапазоны дат за последние 7, 14, 28, 30, 60 и 90 дней.

  • Периоды в именах полей данных больше не приводят к пустым диаграммам.

  • Устаревший браузер schema теперь работает с CatalogUnity.

  • Реализованы улучшения производительности для загрузки только активной вкладки в редакторе SQL, уменьшая начальное время загрузки до 20 %.

  • Теперь комментарии table, генерируемые ИИ, в обозревателе Catalog теперь в общем доступе.

Исправления:

  • Полосы на темпоральных линейчатых диаграммах теперь сосредоточены на отметке даты.
  • Шаблоны меток данных с агрегатными выражениями теперь используют правильные числовые формататоры.
  • Масштабирование новых диаграмм теперь работает с переходом от шкалы set к категориальному при использовании временных данных.

Новая статья:

  • Выпущена новая статья со всеми визуализациями Lakeview, включая снимки экрана и заметки, показывающие, как воссоздать каждую визуализацию на каждом снимке экрана. См. типы визуализаций приборной панели.

19 октября 2023 г.

Улучшения:

  • Теперь в браузере schema доступна функция перетаскивания.

  • Модальное окно SelectTable на Lakeview-досках упрощает select из всех tables в catalog или schema и теперь использует автозаполнение поисковых предложений во время ввода.

Исправления:

  • Инструкции по выбору условных обозначений указывают использование cmd пользователей Mac и пользователей ctrlWindows.

  • Улучшенная видимость усеченных сообщений на панелях мониторинга Lakeview при превышении ограничений отрисовки данных.

  • Диаграммы с усеченными данными отображают согласованные цвета, как показано в редакторе.

12 октября 2023 г.

Улучшения:

  • Фильтр текста values, содержащий специальные символы, теперь правильно фильтруется на панелях мониторинга Lakeview.

  • Новые диаграммы поддерживают @@name метки данных на разбросанных диаграммах.

  • Настраиваемые процентные форматы применяются к подсказкам сгруппированных диаграмм в новых диаграммах.

  • Пользовательский интерфейс расширения привязки рабочей области — это общедоступная версия.

Исправления:

  • Улучшенная отрисовка меток на новых диаграммах, чтобы предотвратить утечку меток за пределами границ диаграммы.
  • Повышение контрастности линий галочки и сетки на новых диаграммах для улучшения видимости.
  • Увеличил интервал метки оси для повышения удобочитаемости на новых диаграммах.

5 октября 2023 г.

Улучшения:

  • Точные подсказки добавлены для действий в режиме публикации и происхождения дат на панелях мониторинга Lakeview.

  • Шаблоны условного форматирования и ссылок в визуализациях Lakeview table теперь поддерживают скрытие для columns.

  • Оптимизированная позиция меток для темпоральных диаграмм с широкой линейчатой диаграммой для повышения ясности в новых диаграммах.

  • Визуализация счетчиков в Lakeview сохраняет свои преобразования даже после удаления других полей, обеспечивая согласованность.

  • Наведении указателя мыши на ряд в диаграмме теперь смеяет окружающую серию в подсказке, чтобы улучшить удобочитаемость в новых диаграммах.

  • Новые диаграммы, использующие процентные values, теперь отображают подсказки с абсолютными значениями values.

  • Добавлена поддержка автозаполнения для создания volumes.

  • Закрытие неактивной вкладки больше не переключает вкладки.

  • Выбранный запуск четко указывает при выделении текста.

Исправления:

  • Улучшена формулировка сообщения об ошибке в PivotиTables при усечении данных.

  • Исправлена ошибка отображения: цвета Pivot,Tables,where не отображались при использовании типов данных BigInt.

  • При скачивании PNG в новых диаграммах с многочисленными элементами условных обозначений удален цветной символ для записей условных обозначений переполнения.

  • Линии в новых диаграммах будут поддерживать согласованную толщину даже на самой верхней границе представления.

  • В Lakeview, если набор данных не существует, средство выбора набора данных на холсте пусто.

  • Delta Live Tables корректно распознается анализатором SQL и не отображается как недопустимый tables в браузере Schema.

  • Подсказки были добавлены на боковую панель.

28 сентября 2023 г.

Улучшения:

  • Опубликованные панели мониторинга Lakeview теперь имеют кнопку refresh.

  • Улучшены сообщения об ошибках для пользователей, у которых нет доступа к панели мониторинга Lakeview.

  • Конфигурация фильтра в панелях управления Lakeview теперь отображает допустимые поля в верхней части выбора list.

  • Скачивание диаграммы в виде PNG на панели мониторинга Lakeview теперь сохраняет заголовок и описание.

  • Улучшение журнала delta tables в обозревателе Catalog включает добавление фильтров для диапазона дат, пользователя и типа операций, а также сортируемых columnsи встроенных ссылок на связанные задания и записные книжки.

  • Темный режим теперь поддерживается во всех условных обозначениях, подсказках и визуализации table.

Исправление:

  • Выбор фильтров больше не очищается при обновлении панели мониторинга Lakeview.

21 сентября 2023 г.

Улучшения:

  • Pivot Table улучшена производительность отрисовки.
  • Новый узор DuBois для табличной структуры views в пользовательском интерфейсе.

14 сентября 2023 г.

Улучшение:

7 сентября 2023 г.

Доступно Databricks SQL версии 2023.40

Расписание развертывания

  • Предварительный выпуск для 2023.40: между 5 сентября 2023 г. и 11 сентября 2023 г.
  • Текущее развертывание для 2023.40: между 18 сентября 2023 г. и 25 сентября 2023 г.

Изменения в версии 2023.40:

  • Теги теперь доступны в Unity Catalog.
  • Databricks Runtime возвращает ошибку, если файл изменяется между планированием запросов и вызовом.
  • Поддержка драйвера ODBC/JDBC для Azure Databricks.
  • Включите метки column для временных рядов.
  • Новые функции SQL растрового изображения.
  • Улучшены функции шифрования.
  • Поддержка Catalog Unity для REFRESH FOREIGN.
  • Теперь поддерживается INSERT BY NAME.
  • Используйте Delta Sharing для совместного использования материализованных views.

Обновления пользовательского интерфейса

Улучшения:

  • Новые диаграммы теперь доступны, благодаря более быстрой отрисовки, красивым цветам и улучшенной интерактивности. См . новые визуализации диаграмм в Databricks.

  • В графическом представлении профиля запроса теперь можно просмотреть тип Join на любом узле, который содержит join в плане запроса.

  • Обозреватель данных переименован в Catalog Explorer, чтобы распознать тот факт, что его можно использовать для работы со всеми защищаемыми объектами в CatalogUnity, а не только с объектами данных. См. Что такое Catalog Explorer?

  • API выполнения инструкций Databricks SQL теперь является общедоступной версией Databricks SQL версии 2023.35 и выше. API позволяет отправлять инструкции SQL для выполнения в хранилище DATAbricks SQL, проверять состояние и получить результаты или отменять выполнение выполняемой инструкции SQL. См . API выполнения инструкций.

31 августа 2023 г.

Новая функция:

24 августа 2023 г.

Улучшение:

  • Автозавершение останавливает предложение рекомендаций после нажатия пробела.
  • Schema браузер больше не отображает live Delta Live Tables как неисправные tables.

16 августа 2023 г.

Улучшение:

  • Теперь выпадающий список Catalog в редакторе SQL закрывается при переключении вкладок. Ранее при переключении вкладок раскрывающийся список оставался открытым.

10 августа 2023 г.

Улучшение:

  • Автозавершение теперь поддерживает новый синтаксис для задания тегов Unity Catalog. Дополнительные сведения о командах см . в справочнике по языку SQL.

3 августа 2023 г.

Улучшения:

  • В базовом редакторе Монако теперь используется версия 37.1.
  • Поддержка автозавершения для SHOW ARCHIVED FILES FOR команд Delta.

27 июля 2023 г.

Улучшения:

  • Редактор SQL теперь совместим с новыми символами Windows, гарантируя, что форматирование запросов работает должным образом во всех случаях.
  • Вы можете открыть навигацию профиля запроса из результатов записной книжки. Для запросов запустите запрос с помощью хранилища SQL.

20 июля 2023 г.

Доступно Databricks SQL версии 2023.35

Расписание развертывания

  • Предварительный выпуск для 2023.35: между 18 июля 2023 г. и 24 июля 2023 г.
  • Текущее развертывание для 2023.35: между 31 июля 2023 г. и 8 августа 2023 г.

Изменения в версии 2023.35:

  • Улучшенная надежность для VACUUM с помощью поверхностного клонирования в Unity Catalog.
  • Поддержка определяемых пользователем пользователей Python в SQL.
  • Delta Lake UniForm for Iceberg находится в общедоступной предварительной версии.
  • Отказоустойчивая кластеризация Delta Lake доступна в общедоступной предварительной версии.
  • Поддержка архивации Для Delta Lake.
  • поддержка предложения IDENTIFIER.
  • Unity Catalog поддержка функций Python и Pandas User-Defined (Функции определяемые пользователем, UDFs).

Улучшение:

  • Table популярность в обозревателе Catalog доступна всем пользователям Unity Catalog.

13 июля 2023 г.

Улучшение:

  • Пользователи Catalog Unity теперь могут просматривать дополнительные аналитические сведения table в обозревателе Catalog, такие как часто присоединенные tables, частые пользователи заданного tableи часто используемые записные книжки и панели мониторинга.

22 июня 2023 г.

Общедоступная предварительная версия:

  • Databricks SQL теперь поддерживает большие языковые модели (LLM), размещенные на конечных точках обслуживания моделей. Вызовите ai_query() для доступа к LLM. Эта функция доступна только в общедоступной предварительной версии в Databricks SQL Pro и без сервера. Чтобы принять участие в общедоступной предварительной версии, отправьте форму регистрации общедоступной предварительной версии функций ИИ.

15 июня 2023 г.

Новая функция:

  • Теперь доступны задачи SQL в заданиях. С помощью страницы заданий можно управлять запросами, панелями мониторинга и оповещениями. См . задачу SQL для заданий.
  • Новый браузер schema теперь находится в общедоступной предварительной версии, с обновленным пользовательским интерфейсом, вкладкой для вас и улучшенными фильтрами. Браузер schema доступен в Databricks SQL, Catalog Explorer и записных книжках. См. статью "Обзор данных".

8 июня 2023 г.

Доступно DBSQL версии 2023.30

Изменения в версии 2023.30

  • Новые встроенные функции SQL, такие как array_prepend(array, elem), try_aes_decrypt(expr, key [, mode [, padding]])и sql_keywords() .
  • Теперь вы можете использовать неглубокий клон для создания новых управляемых tables Unity Catalog из существующих управляемых CatalogtablesUnity. См. Поверхностное клонирование для Unity Catalogtables.
  • Теперь можно использовать CLONE и CONVERT TO DELTA с Айсбергом tables, которые имеют секции, определенные для усеченных columns типов int, longи string. Усеченные columns типа decimal не поддерживаются.
  • START VERSION теперь не рекомендуется использовать для ALTER SHARE.

Обновления пользовательского интерфейса

Исправление:

  • Визуализация счетчиков теперь поддерживает форматирование при использовании больших целых чисел.

1 июня 2023 г.

Улучшения:

  • Двоичные данные теперь будут отображаться в виде шестнадцатеричной строки при использовании формата стрелки.

  • В API инструкции SQL формат CSV теперь поддерживается для ликвидации EXTERNAL_LINKS . Это позволяет клиентам извлекать до 100 ГиБ данных в формате CSV с предварительно подписанными URL-адресами, а INLINElimit для JSON — 16 МиБ.

  • Azure Databricks SQL Pro доступен во всех регионах Китая. SQL Pro теперь является хранилищем по умолчанию в пользовательском интерфейсе. По умолчанию API по-прежнему является классическим.

29 мая 2023 г.

Новая функция:

25 мая 2023 г.

Улучшения:

  • Теперь можно переключить панель результатов автозаполнения.
  • Отключите ключ ввода, чтобы он больше не принимал предложения автозаполнения. В разделе "Параметры пользователя DBSQL" щелкните "Параметры редактора" и "Новые параметры редактора". Отключение клавиши ВВОД принимает предложения автозавершения.

Исправления:

  • Теперь у отсортированных заголовков table есть цвета.
  • Теперь линии диаграммы отображаются правильно.

18 мая 2023 г.

Улучшение:

  • В API инструкции SQL ликвидация EXTERNAL_LINKS теперь поддерживает JSON_ARRAY формат. Вы можете извлечь до 100 ГиБ данных в формате JSON с предварительно подписанными URL-адресами. INLINE limit для JSON — 16 МиБ.

11 мая 2023 г.

Новая функция:

  • браузер Schema теперь доступен в обозревателе Catalog.

Улучшения:

  • При наведении указателя мыши на панель сведений table, её показ становится менее чувствительным.
  • Теперь экранный ключ закрывает панель автозавершения.
  • Теперь определения представления имеют подсветку синтаксиса на вкладке сведений обозревателя Catalog.

Исправления:

  • Pivot tables теперь правильно отрисовывается на устройствах Windows.
  • Предложения по завершению теперь правильно соответствуют примеру первого ключевого слова.

4 мая 2023 г.

Доступно databricks SQL версии 2023.26

Расписание развертывания

  • Предварительный выпуск для 2023.26: с 19 апреля 2023 г. по 25 апреля 2023 г.
  • Текущее развертывание для 2023.26: с 3 мая 2023 г. по 10 мая 2023 г.

Изменения в версии 2023.26

  • Фотон возвращает ошибку, если файл изменяется между планированием запросов и выполнением.
  • Новые функции и расширенная поддержка функций прогнозного ввода-вывода. См. раздел Databricks Runtime 13.0 (EoS).
  • Используйте соединитель Azure Databricks для подключения к другой рабочей области Azure Databricks.
  • функция CREATE TABLE LIKE для Delta tables.
  • Новые поля метаданных column, обозначающие начало блока файла и его длину.
  • Новые геопространственные функции H3. См. раздел Геопространственные функции H3.
  • Новые встроенные функции SQL. См. раздел Databricks Runtime 13.0 (EoS).

Обновления пользовательского интерфейса

Улучшения:

  • Администраторы могут изменять владельцев хранилища с помощью пользовательского интерфейса или API. См. раздел "Управление хранилищем SQL".
  • Catalog Explorer теперь отображает субъекты-службы учетных записей в списках пользователей для ресурсов в CatalogUnity. Например, учетные записи сервисных принципалов видны при редактировании привилегий или изменении владельцев в Catalog Explorer.
  • Пользовательские метки диаграмм позволяют ссылаться на любые column в наборе данных.
  • Фильтры панели мониторинга теперь загружают имена column, даже при запросах без информации catalog или schema.

27 апреля 2023 г.

Улучшения:

  • Редактор SQL теперь использует редактор Монако для более надежного редактирования.
  • Страница истории SQL list (Запросы) теперь включает Dubois Design System.

20 апреля 2023 г.

Улучшения:

  • Представляет новые pivottables, которые позволяют агрегировать более 64 тыс. результатов.
  • Databricks SQL tables и визуализации теперь поддерживают BigInt, 38-битные десятичные числа и символы, отличные от UTF-8. Для чисел значение по умолчанию теперь определяется пользователем.
  • Автозаполнение теперь предлагает частые прошлые объединения для Unity Catalogtables, основанные на данных о происхождении Unity Catalog в Databricks Runtime 12.0 и более поздних версиях.

Новая функция:

  • Возвращает текст, созданный выбранной крупной языковой моделью (LLM), с помощью ai_generate_text запроса. Эта функция доступна только в виде общедоступной предварительной версии в Databricks SQL Pro и без сервера. Чтобы принять участие в общедоступной предварительной версии, заполните и отправьте форму регистрации общедоступной предварительной версии функций ИИ.

13 апреля 2023 г.

Новая функция:

  • Тип TIMESTAMP_NTZ представляет values, состоящий из полей года, месяца, дня, часа, минуты и второй. Все операции выполняются независимо от часового пояса. См . TIMESTAMP_NTZ тип.

Улучшения:

  • Теперь пользователи могут отправлять форматированные результаты в оповещениях с помощью тега QUERY_RESULT_TABLE в пользовательском сообщении оповещений.
  • Теперь пользователи могут просматривать размер данных файла для Catalogtables Unity в обозревателе Catalog.

6 апреля 2023 г.

Доступно databricks SQL версии 2023.20

Расписание развертывания

  • Развертывание предварительной версии для 2023.20: между 15 марта 2023 г. и 23 марта 2023 г.
  • Текущее развертывание для 2023.20: между 27 марта 2023 г. и 3 апреля 2023 г.

Изменения в версии 2023.20

  • Эволюция Delta Lake schema поддерживает указание источника columns в операторах слияния.
  • Remove все элементы NULL из массива с помощью array_compact.
  • Чтобы добавить элементы в массив, используйте array_append.
  • Чтобы анонимизировать конфиденциальную строку values, используйте функцию маски .
  • Распространенные условия ошибки теперь возвращают SQLSTATE.
  • Вызов функций генератора table-valued в регулярном предложении FROM запроса.
  • from_protobuf to_protobuf Используйте функции для обмена данными между двоичными и типами структур. См . раздел "Чтение и запись буферов протокола".
  • Улучшена согласованность для поведения фиксации Delta для пустых транзакций, относящихся к updateкомандам deleteи merge командам.
  • Изменение поведения
    • Функция горизонтального псевдонима column вводит изменения в поведение при разрешении имён. См . изменения поведения.

Обновления пользовательского интерфейса

Улучшения:

  • Catalog Explorer теперь поддерживает удаление хранилища метаданных Hive.
  • Сообщение для начального состояния редактора визуализации изменилось с отсутствующих необходимых columns на нет данных.

3 апреля 2023 г.

Новая функция:

30 марта 2023 г.

Улучшения:

  • На странице мониторинга хранилища теперь можно просмотреть журнал запросов для выбранного диапазона времени вместе с диаграммами масштабирования. Вы также можете просматривать текущие и очередные запросы, активные сеансы SQL, состояние хранилища и текущее число кластеров. См. раздел "Мониторинг хранилища SQL".
  • Кластеризация карт по умолчанию отключена в картах маркеров.
  • Добавлены подсказки для усечения визуализации и ограничений отрисовки.

Исправления:

  • Диаграммы теперь учитывают исходный порядок при отключении сортировки для оси values, а диаграмма содержит группу по column.

23 марта 2023 г.

Улучшения:

  • Визуализации теперь поддерживают бинирование времени по неделям.
  • Total теперь вычисляет все данные за пределами 100 на 100 ячеек до 64 тыс. результатов в тетрадях pivottables.
  • Теперь пользователи могут форматировать ячейки values в новых записных книжках pivottable.
  • Доступны данные о файлах, запросах и хранилищах компонентов.

16 марта 2023 г.

Улучшение:

  • Поддержка синтаксиса GROUP BY ALL .

9 марта 2023 г.

Новая функция:

  • API выполнения инструкций Databricks SQL теперь доступен в общедоступной предварительной версии. Выполнение инструкций предоставляет конечные точки, выполняющие инструкции SQL в хранилище SQL Databricks. Он также может проверить состояние, получить результаты и отменить запущенную инструкцию SQL.

Улучшение:

  • Консоль администрирования SQL была объединена с общими параметрами администратора для создания единого интерфейса для пользователей администрирования. Все параметры администратора SQL теперь доступны из консоли администрирования.
  • Теперь назначения оповещений называются назначениями уведомлений.

Исправления:

  • Tables больше не отображает две полосы прокрутки.
  • Пустые заголовки мини-приложений больше не get перезаписаны на панелях мониторинга.

2 марта 2023 г.

Исправление:

  • Теперь можно использовать относительные URL-адреса в tables для доступа к панелям мониторинга.

23 февраля 2023 г.

Улучшение:

  • TINYINT теперь поддерживается в результатах tables в записных книжках.

Исправление:

  • Исправлена ошибка where, при которой прокрутка в модальном окне фильтра создания панели управления вызывала ошибку.

16 февраля 2023 г.

Улучшения:

  • Метки данных на диаграммах теперь отображают больше символов, чтобы избежать усечения описаний.
  • Автоматическое заполнение теперь распознает range() и функции UDF create Python.
  • Автоматическое заполнение теперь позволяет избежать инициации фрагментов в десятичных и в комментариях кода.

Исправления:

  • Теперь пользователи могут увеличить масштаб карт.
  • В записных книжках цвета теперь правильно назначаются диаграммам.

2 февраля 2023 г.

Улучшения:

  • DESCRIBE DETAILS Поддержка в редакторе.
  • Улучшена скорость загрузки браузера schema.
  • Теперь вы можете просмотреть list возможных columns на боковой панели SELECT *.

26 января 2023 г.

Улучшение:

  • Теперь сообщения об ошибках запроса содержат ссылки на соответствующий раздел документации, описывающий ошибку.

19 января 2023 г.

Улучшения:

  • Теперь вы можете найти панель "Новые возможности", которая выделяет ключевые улучшения. Чтобы открыть и закрыть эту панель, щелкните значок подарка.
  • Теперь администраторы могут изменить владение хранилищами SQL.
  • Теперь можно отфильтровать несколько визуализаций на панели, щелкнув Добавить>Фильтр и выбрав запрос и columns для фильтрации.

12 января 2023 г.

Улучшения:

  • Названия мини-приложений визуализации на панелях мониторинга теперь форматируются как имя визуализации — имя запроса по умолчанию.
  • Добавлены геопространственные функции H3 в ссылку на встроенную панель.
  • Добавлены встроенные ссылки на синтаксис SQL, например CREATE TABLE и OVER.

Исправления:

  • Сортировка и обратные переключатели теперь доступны, когда масштаб оси X выставлен с set на автоматический.
  • Тепловые карты и pivottables теперь реагируют на определенные пограничные случаи.
  • По умолчанию отсортированные метки по оси Y.
  • Черновики запросов больше не теряются после refreshбраузера.

8 декабря 2022 г.

  • Azure Databricks SQL теперь поддерживает оповещения для агрегатов результатов запросов columns, таких как SUM, COUNTи AVG.
  • Название визуализации по умолчанию теперь — "Имя визуализации — Имя запроса" при создании новых мини-приложений на панелях мониторинга.

17 ноября 2022 г.

Оповещения:

  • Chatworks, Mattermost и Google Hangouts Chat больше не являются назначениями уведомлений.

Улучшение:

Исправления:

  • Исправлена проблема, из-за которой оповещения Databricks SQL where неправильно оценивались при сравнении с NULL values.
  • Исправлена проблема, where полос прокрутки на pivottables исчезла.
  • Исправлена проблема, из-за которой браузеру whereschema не удавалось изменить размер при переполненных вкладках.

10 ноября 2022 г.

Улучшение:

  • Теперь можно создать фильтр панели мониторинга, который работает в нескольких запросах одновременно. В режиме редактирования панели мониторинга нажмите кнопку "Добавить", а затем "Фильтр" и "Создать фильтр панели мониторинга".
  • Теперь функция автозаполнения поддерживается CREATE MATERIALIZED VIEW.

Исправление:

  • Исправлена проблема, where прокрутка до конца set результатов страниц панели мониторинга приведет к ошибке.
  • Исправлена проблема where, когда при переключении со сложенной столбчатой диаграммы на линейную диаграмму сохранялось свойство сложенности.
  • Исправлены повторяющиеся вызовы получения.

3 ноября 2022 г.

Улучшение:

  • При запросе доступа в Databricks SQL разрешение по умолчанию теперь "может выполняться".

Исправления:

  • Исправлена проблема, where сортировка по created_at с помощью API запросов и панелей мониторинга не возвращала правильный порядок сортировки.
  • Исправлена проблема, wherecolumns, содержащая URL-адреса с форматированием HTML, имела слишком широкие column ширины.
  • Исправлена проблема, когда ключевое слово whereWHERE не было выделено.

27 октября 2022 г.

Улучшения:

  • Строка limit для скачивания результатов запроса в Excel была увеличена с 64 000 строк до 100 000 строк. Ограничения загрузки CSV и TSV остаются неизменными (около 1 ГБ данных).

  • Автозаполнение теперь поддерживает синтаксис LIST, URL-адреса и credentials.

  • Консолидированные и модернизированные панели предложений Fix-me.

  • Новый тип хранилища Databricks SQL Pro представлен для Databricks SQL. Этот тип хранилища позволяет хранилищу Databricks SQL использовать интеграцию заданий, федерацию запросов, геопространственные функции и прогнозные операции ввода-вывода.

Исправления:

  • Исправлена проблема, where баннер предупреждения в редакторе перекрывался визуализацией на полный рост.
  • Исправлена проблема, когда ширина wheretablecolumn не сохранялась при перемещении columnstable.
  • Исправлена проблема where: ссылка на панель мониторинга в уведомлении всплывающего окна не работала, если визуализация была добавлена из редактора SQL.

20 октября 2022 г.

Улучшения:

  • Теперь в нижнем колонтитуле можно найти строку хода выполнения запроса и действие визуализации в меню кебаба.
  • Автозаполнение теперь поддерживает функцию Delta Time Travel и обеспечивает автоподстановку column при определении внешнего ключа.

Исправление:

  • Исправлена проблема: where добавление нескольких визуализаций на дашборд в быстром последовательном порядке приводило к тому, что визуализации не отображались на дашборде.

13 октября 2022 г.

Улучшения:

  • Теперь вы можете remove сообщения об ошибках.
  • COMMENT ON Инструкция теперь поддерживается в редакторе.
  • Теперь вы можете использовать cmd+P или Ctr+P (для ПК) в качестве ярлыка для верхнего поиска. Используйте Cmd+I или Ctrl+I (для ПК) для Добавить parameters.

11 октября 2022 г.

Улучшения:

6 октября 2022 г.

Улучшения:

  • EXTERNAL теперь является зарезервированным свойством table. Команды и CREATE TABLE ... TBLPROPERTIES сбойALTER TABLE ... SET TBLPROPERTIES, если EXTERNAL указан в свойствах.
  • Вход strfmt и format_string(strfmt, obj, ...) больше не поддерживает использование printf(strfmt, obj, ...) в качестве 0$ первого аргумента. Первый аргумент должен ссылаться на 1$ при использовании индекса аргумента, чтобы указать позицию аргумента в аргументе list.
  • Сегменты круговой диаграммы теперь имеют тонкую границу для обозначения различных сегментов.
  • Теперь можно использовать cmd+I (для Mac) или Ctr+I (для ПК) в качестве ярлыка для параметра Add. Используйте cmd+P или Ctr+P (для ПК) в качестве ярлыка для глобального поиска.
  • Кнопка обратной связи доступна для хороших или плохих сообщений об ошибках запроса.
  • Исправление предложений теперь доступно как быстрое исправление.

Исправления:

  • lpad и rpad функции теперь работают правильно с BINARY строковыми входными данными. Выходные lpad данные и rpadBINARY для строковых входных данных теперь являются строкой BINARY .
  • Исправлена проблема, из-за которой ручное обновление оповещений where не работало.
  • Откат изменений в автоматическом изменении размера счетчика для устранения проблем форматирования.

29 сентября 2022 г.

Улучшения:

  • Теперь вы можете запросить доступ к sql-запросам Databricks, оповещениям и панелям мониторинга от владельцев этих ресурсов.
  • Теперь можно фильтровать по длительности запроса и типу инструкции на странице журнала запросов.
    • Чтобы использовать фильтр длительности запроса, введите время и выберите единицу времени. Результат журнала возвращает запросы, которые выполняются дольше указанного времени.
    • Чтобы использовать фильтр типов инструкций, выберите тип инструкции из раскрывающегося списка. Результат журнала возвращает запросы, содержащие этот оператор.

Исправление:

  • Исправлена проблема, where не все поддерживаемые HTML-теги работали в пользовательских шаблонах оповещений. Все теги доступны как документированные.
  • Исправлена проблема с тостами уведомлений визуализации where. Например, дважды щелкнув, чтобы уменьшить масштаб визуализации, ранее не отображался.
  • Исправлена проблема, where переключение осей на диаграмме не отображалось в имени диаграммы.

22 сентября 2022 г.

Улучшения:

  • Мини-приложения счетчиков одного и того же размера будут иметь одинаковый размер шрифта при отображении нескольких мини-приложений счетчиков на панели мониторинга.
  • Обновленные сочетания диаграмм, чтобы при использовании двойной оси можно использовать только один и тот же тип диаграммы (например, линия, полоса) на одной оси. Псевдонимы рядов также применяются к оси.
  • Добавлена поддержка автозаполнения суррогатных ключей и LIST операций.

Исправление:

  • Исправлена проблема: where текст parameters не принимал Null в качестве допустимого значения.

15 сентября 2022 г.

Исправление:

  • Исправлена проблема, where просмотр журнала запросов из хранилищ SQL страница описания не работала.

8 сентября 2022 г.

Улучшение:

  • Введя новую карточку интеграции с открытым исходным кодом на домашней странице DSE/SQL, которая отображает параметры интеграции с открытым кодом, такие как Delta Live Tables и dbt core.

Исправление:

  • Была исправлена проблема: раскрывающиеся меню параметров where были заблокированы вкладкой визуализации.

1 сентября 2022 г.

Улучшения:

  • Представляем новый упрощённый пользовательский интерфейс для добавления parameters и фильтров. Щелкните и выберите добавление фильтра или параметра.
  • Скобки маркеров SQL, например OVER(), теперь get автозаполнения.

Исправления:

  • Исправлена проблема, where просмотр панели мониторинга в полноэкранном режиме игнорируется цветовая палитра.
  • Исправлена проблема, быстро вводить текст запроса, а затем использовать ярлык запуска , а не только только что типизированный текст запроса.
  • Исправлена проблема where с помощью команды клавиатуры, ctrl+ввод для выполнения запросов будет отправлять повторяющиеся запросы.

25 августа, 2022 г.

Исправление:

  • Исправлена проблема, из-за которой фильтры панели мониторинга where не обновлялись при изменении запроса parameters.

18 августа 2022 г.

  • Для Databricks SQL Unity Catalog (общедоступная предварительная версия) доступна в канале предварительного просмотра. Дополнительные сведения см. в разделе Что такое Unity Catalog?.

  • Документация. Выпущена документация по API оповещений.

  • Визуализации: теперь пользователи могут установить set по умолчанию values для фильтров дат. При обновлении фильтра в запросе или на панели мониторинга применяется значение по умолчанию.

  • Исправления:

    • Исправлена проблема, при которой изменения where не применялись, если панель мониторинга все еще перезагружалась.
    • Исправлена проблема, wherecolumns были слишком узкими, когда запрос не возвращает результатов.

11 августа 2022 г.

Улучшения:

  • Пользователи могут получать сообщения электронной почты при сбое обновлений. Чтобы включить такие уведомления, перейдите на вкладку параметров SQL консоли администрирования. В разделе Failure Emails (Сообщения о сбое) выберите тип объекта (запрос, панель мониторинга или оповещение), для которого вы хотите получать уведомления о сбоях. Отчеты о сбоях отправляются каждый час.
  • Визуализации
    • Представляем новую современную цветовую палитру для визуализаций и панелей мониторинга. Чтобы изменить панель мониторинга на новую цветовую палитру, перейдите на панель мониторинга, щелкните -> -> и selectцветовой палитры Databricks. Администраторы SQL также могут новую цветовую палитру в качестве параметра по умолчанию для рабочей области, выбрав параметры —консоли администрирования QL — цвета рабочей области—импорт и выбор новой палитры.

Исправления:

  • Исправлена проблема, where ранее выбрав , чтобы применить фильтр, не работал, если запрос уже выполнен.

4 августа 2022 г.

Улучшения:

  • При клонировании панели мониторинга теперь можно указать, следует ли клонировать запросы.
  • Содержимое вкладок синхронизируется на вкладках браузера. Состояние запроса теперь будет находиться в sync на всех вкладках браузера. Это означает, что если вы работаете с запросом 1 на вкладке браузера 1, а затем переключитесь на вкладку браузера 2, вы увидите запрос 1 в состоянии, в котором вы оставили его на исходной вкладке браузера.

Исправление:

  • Метки для пустых строк в круговой диаграмме теперь отражают, что строка пуста (а не индекс значения).

28 июля 2022 г.

  • Оповещения
    • Настраиваемые шаблоны для оповещений по электронной почте обновлены, чтобы запретить определенные HTML-теги, которые могут представлять угрозу безопасности. Запрещенные HTML-теги и атрибуты автоматически удаляются. Например,
    • Теперь пользователи могут подписать других пользователей на оповещения без необходимости создавать назначение уведомления, для которого требуются разрешения администратора.
  • Скачивания: теперь пользователи могут скачивать приблизительно до 1 ГБ данных результатов из Databricks SQL в формате CSV и TSV (ранее разрешалось не более 64 000 строк).
  • Визуализации
    • Теперь вы можете редактировать визуализации непосредственно на панели мониторинга. В режиме редактирования щелкните меню кебаб и selectИзменить визуализацию, чтобы начать редактирование визуализации.
    • При скачивании результатов, связанных с визуализацией с агрегированиями, скачанные результаты также агрегируются. Параметр для скачивания перемещен с нижней части kebab на kebab, связанный с вкладкой. Скачанные результаты относятся к последнему выполнению запроса, создавшего визуализацию.
  • Редактор SQL: Результаты tables теперь отображают сообщение, если данные, отображаемые в браузере table, ограничены 64 000 строками. При скачивании TSV- и CSV-файлов размер по-прежнему составляет около 1 ГБ данных.
  • Фильтры запросов:
    • Фильтры запросов были обновлены для динамической работы как на стороне клиента, так и на стороне сервера, чтобы optimize улучшить производительность. Предыдущие фильтры запросов (теперь устаревшие) работали только на стороне клиента. При необходимости пользователи по-прежнему могут использовать устаревшие фильтры с синтаксисом ::.
    • Обновленные фильтры проще: пользователи нажимают кнопку +Добавить фильтр и selectcolumn из раскрывающегося списка. Ранее пользователям приходилось изменять текст запроса напрямую.
    • Соответствующие values выделены, чтобы упростить понимание того, какие элементы в фильтре дадут результаты в зависимости от других сделанных выборов фильтров.
  • Журнал запросов: сведения о запросе в журнале запросов теперь отображают источник выполненного запроса.

21 июля 2022 г.

  • Уведомления при общем доступе: пользователи теперь будут получать уведомления по электронной почте при получении возможности доступа к панели мониторинга, запросу или оповещению.
  • Расширенный интерфейс редактора SQL с помощью нового встроенного набора средств редактора
    • Динамическое выделение синтаксических ошибок (например, неправильное ключевое слово, table не существует, а также предложения по их устранению)
    • В контекстной справке: при наведении указателя мыши (например, полное table имя, подробная панель функций) и внутренние сообщения об ошибках выполнения (например, выделение строки с ошибкой после выполнения)
    • Интеллектуальное ранжирование предложений (например, автозавершение параметров, формула ранжирования, сопоставление со сниженным уровнем шума).

14 июля 2022 г.

  • Теперь вы можете отправлять TSV-файлы с помощью пользовательского интерфейса Create Table в дополнение к CSV-файлам.
  • Databricks SQL теперь позволяет уведомлять пользователей по электронной почте всякий раз, когда им предоставляется доступ к панели мониторинга, запросу или предупреждению.
  • Визуализация tables теперь дополнительно включает номера строк, отображаемые рядом с результатами.
  • При select географическом регионе для визуализации Chloropleth теперь get встроенные подсказки для принятых values.

23 июня 2022 г.

  • Изменение названия конечных точек SQL: в Databricks конечные точки SQL теперь называются хранилищами SQL, так как это больше, чем просто точка входа API для выполнения команд SQL. Хранилище SQL — это вычислительный ресурс для всех потребностей хранения данных, неотъемлемой частью платформы Databricks. Вычислительные ресурсы — это ресурсы инфраструктуры, которые обеспечивают возможности обработки в облаке.
  • Для визуализаций Choropleth выбор полей column key column и Target в редакторе визуализаций был переименован в географический Column и географический тип. Это было сделано для ясности и не предполагает изменений в поведении новых или существующих визуализаций Choropleth.
  • Параметр запроса limit 1000 был перемещен из флажка в редакторе sql-запросов к флажку в кнопке запуска.
  • Кэшированные запросы в журнале запросов table теперь помечены тегом кэша.
  • При обновлении панели мониторинга вручную используется хранилище панели мониторинга (если доступно) вместо хранилища каждого отдельного запроса.
  • При обновлении оповещения всегда используется хранилище оповещения, независимо от параметра "Запуск от имени наблюдателя или владельца".

9 июня 2022 г.

  • При наведении указателя мыши на селектор конечной точки полное имя конечной точки отображается в виде подсказки.
  • При фильтрации в редакторе SQL schema браузере в результатах поиска теперь выделяется условие поиска.
  • Диалоговое окно "Закрыть все" в редакторе SQL теперь отображает list несохраненных запросов.
  • Чтобы повторно открыть последнюю закрытую вкладку в редакторе SQL, используйте это новое сочетание клавиш: <Cmd> + <Shift> + <Option> + T
  • Теперь в комбинированные диаграммы можно добавлять метки данных.
  • Теперь list операций агрегирования визуализации включает дисперсию и стандартное отклонение.

26 мая 2022 г.

Улучшения разработки:

  • Теперь вы можете обходить агрегирования при создании визуализаций. Это особенно полезно, если запрос уже включает агрегат. Например, если используется запрос SELECT AVG(price_per_sqft), isStudio, location GROUP BY location, isStudio, редактор диаграмм ранее требовал явного указания другого слоя агрегирования.
  • При создании панелей мониторинга теперь у вас есть возможность:
    • Создавать копии мини-приложений в текстовых полях.
    • Расширять панель изменения текстовых полей.
  • Агрегирование по умолчанию для ошибки column при создании визуализаций — стандартное отклонение.

Исправления:

  • Действия редактирования для визуализаций доступны только в том случае, если панель мониторинга находится в режиме редактирования. Действия редактирования больше не доступны в режиме просмотра.
  • При создании нового запроса он открывается на вкладке, расположенной сразу справа от той, которая находится в фокусе, а не в конце list.
  • В модальном окне открытого запроса показано, какой запрос уже открыт, и предоставлена возможность переключить фокус на вкладку такого запроса.
  • Диаграммы Sankey и Sunburst больше не рассматриваются как null.

19 мая 2022 г.

  • Исправлена проблема. При открытии фокуса редактора SQL на определенной вкладке визуализации и совместном использовании ссылки другому пользователю пользователь будет иметь тот же фокус в редакторе SQL при щелчке общей ссылки.
  • Улучшения:
    • Microsoft Teams теперь является поддерживаемым назначением уведомлений.
    • Диапазон дат, диапазон даты и времени, а также диапазон даты и времени (с секундами parameters) теперь поддерживает возможность назначения начального дня недели с воскресеньем в качестве значения по умолчанию.

12 мая 2022 г.

  • Визуализации теперь поддерживают группирование времени непосредственно в пользовательском интерфейсе. Теперь вы можете легко переключаться между годовыми, месячными, дневными или часовыми интервалами ваших данных, изменяя раскрывающееся значение, а не добавляя и изменяя функцию date_trunc() в самом тексте запроса.
  • Панели мониторинга теперь характеризуются согласованностью цветов по умолчанию. Если у вас есть один ряд на нескольких диаграммах, ряды всегда будут окрашены одинаково на всех диаграммах — без необходимости настройки вручную.

3 мая 2022 г.

  • При совместном использовании панели мониторинга с пользователем или группой мы теперь также предоставляем возможность совместного использования всех исходных запросов, которые используются визуализациями и parameters.
    • Если у вас нет разрешения на совместное использование одного или нескольких восходящих запросов, вы получите предупреждающее сообщение о том, что не ко всем запросам может быть предоставлен совместный доступ.
    • Разрешения, предоставляемые при предоставлении совместного доступа к панели мониторинга, не переопределяют, не отменяют и не расширяют существующие разрешения для восходящих запросов. Например, если у пользователя или группы есть разрешения CAN RUN от имени владельца на общей панели мониторинга, но только разрешения запуска от имени просмотра для вышестоящего запроса, то действующие разрешения для этого вышестоящего запроса будут выполняться как средство просмотра.

27 апреля 2022 г.

  • Макет вашей панели инструментов теперь сохраняется при экспорте в PDF по запросу и создании запланированных электронных писем о подписке.

17 марта 2022 г.

  • Теперь в диаграммах доступен новый вариант визуализации объединения. Это позволяет создавать диаграммы со столбиками и линиями одновременно.

10 марта 2022 г.

  • Unity Catalog (предварительная версия) позволяет управлять управлением и доступом к данным на уровне учетной записи. Вы можете централизованно управлять metastores и разрешениями данных, а также назначать хранилище метаданных нескольким рабочим областям в вашей учетной записи. Вы можете управлять и взаимодействовать с данными Unity Catalog и объектами с помощью обозревателя Databricks SQL Catalog или редактора SQL, а также использовать данные Unity Catalog в панелях мониторинга и визуализациях. См. Что такое Unity Catalog?.

Примечание.

Unity требует, чтобы конечные точки SQL использовали версию 2022.11, которая находится в каналепредварительной версии .

  • Delta Sharing (предварительная версия) позволяет делиться данными в режиме только для чтения с recipients за пределами вашей организации. Databricks SQL поддерживает запросы к данным Delta Sharing и их использование в визуализациях и панелях мониторинга.
  • Каждый раз, когда панель мониторинга обновляется вручную или по расписанию, все запросы в панели мониторинга и в вышестоящих источниках, включая те, которые используются parameters, обновляются. При обновлении отдельной визуализации обновляются все исходящие запросы, включая те, которые используются parameters.

3 марта 2022 г.

  • Обновлена когортная визуализация, которая теперь интерполируется в диапазоне от минимального к максимальному значению values, вместо 0 до 100. Теперь гораздо проще отличать когорты в фактическом диапазоне доступных данных. Ранее все числа, близкие друг к другу, использовали один и тот же цвет. Теперь числа, близкие друг к другу, с большей вероятностью будут использовать разные цвета, потому что когорта разделена от максимального до минимального диапазона для формирования каждой серии.
  • Поэтому проще понять, активно ли расписание подписки панели мониторинга или приостановлено. Если расписание подписки панели мониторинга приостановлено, при нажатии кнопки Подписаться отображается сообщение Это расписание приостановлено. Когда расписание подписки панели мониторинга приостановлено, вы можете подписаться на панель мониторинга или отменить подписку, однако запланированные моментальные снимки не будут отправляться, а визуализации панелей мониторинга не будут обновляться.
  • При просмотре истории запросовтеперь можно отсортировать list по длительности. По умолчанию запросы сортируются по времени начала.

24 февраля 2022 г.

  • В обозревателе Catalog теперь можно просмотреть разрешения, которые пользователи или группы имеют на table, просмотр, schemaили catalog. Щелкните объект, а затем выберите Разрешения и используйте новое поле фильтра.

17 февраля 2022 г.

  • Визуализации стали умнее! Когда запрос приводит к одному или двум columns, рекомендуемый тип визуализации автоматически выбирается.
  • Теперь вы можете создавать гистограммы, чтобы визуализировать частоту появления каждого значения в наборе данных и понять, кластеризованы ли данные values вокруг небольшого количества диапазонов или более равномерно распределены.
  • И в Журнале запросов, и в профиле запроса теперь можно развернуть на всю ширину строку запроса и сообщение об ошибке неудачного запроса. Это упрощает анализ планов запросов и устранение неполадок запросов, завершившихся неудачно.
  • В визуализациях гистограмм, линейных диаграмм, диаграмм с областями, круговых диаграмм и тепловых карт теперь можно выполнять агрегирование непосредственно в пользовательском интерфейсе конфигурации визуализации без необходимости изменения самого запроса. При использовании этих новых возможностей агрегирование выполняется по всему setданных, а не ограничивается первыми 64000 строками. При редактировании визуализации, созданной до этого выпуска, вы увидите сообщение о том, что если вы хотите использовать новые возможности, необходимо повторно создать визуализацию. См. раздел Включение агрегирования в визуализации.

10 февраля 2022 г.

  • Теперь можно set настраиваемую цветовую палитру дляпанели мониторинга. Все визуализации, отображаемые на этой панели мониторинга, будут использовать указанную палитру. Настройка пользовательской палитры не влияет на отображение визуализации на других панелях мониторинга или в редакторе SQL.

    Вы можете указать шестнадцатеричный код values для палитры или импортировать цвета из другой палитры, будь то предоставленные Databricks или созданные администратором рабочей области.

    При применении палитры к панели мониторинга все визуализации, отображаемые на этой панели мониторинга, будут по умолчанию использовать эту выбранную цветовую палитру, даже если при создании визуализации вы настроили пользовательские цвета. О том, как переопределить это поведение, см. в разделе Настройка цветов для визуализации.

  • Администраторы рабочей области теперь могут создать настраиваемую цветовую палитру с помощью консоли администрирования. После создания пользовательской цветовой палитры ее можно использовать как в новых, так и в и существующих панелях мониторинга. Чтобы использовать или пользовательскую цветовую палитру для панели мониторинга или настроить ее, можно изменять параметры панели мониторинга.

  • При добавлении визуализации, которая использует parameters на панель мониторинга из меню Kebab SQL, меню, визуализация теперь использует parameters уровня панели мониторинга по умолчанию. Это соответствует поведению при добавлении мини-приложения с помощью кнопки Добавить визуализацию на панели мониторинга.

  • Во время просмотра журнала запросов, когда list фильтруется с помощью сочетания parameters, теперь отображается количество соответствующих запросов.

  • В визуализациях исправлена проблема, where диапазон осей Y не удалось настроить на определенные values.

3 февраля 2022 г.

  • Редактор SQL с вкладками теперь включен по умолчанию для всех пользователей. Дополнительные сведения о том, как отключить редактор с вкладками, см. в разделе Изменение нескольких запросов.

  • Подписчики панели мониторинга по электронной почте теперь вместо вложения получают встроенное изображение, показывающее моментальный снимок панели мониторинга. К сообщению электронной почты прикрепляется PDF-файл моментального снимка.

  • Теперь вы можете балансировать надежность и затраты, настраивая политику точечных экземпляров для конечных точек SQL. Политика точечных экземпляров определяет, используют ли рабочие роли только экземпляры по требованию или сочетание экземпляров по требованию и точечных экземпляров. При значении Cost Optimized (Оптимизация стоимости), которое установлено по умолчанию, используются в основном точечные экземпляры и один экземпляр по требованию. При значении Reliability Optimized (Оптимизация надежности) используются только экземпляры по требованию. Ранее для конечных точек SQL всегда использовались экземпляры по требованию. Чтобы сохранить это поведение, set политику точечных экземпляров для оптимизированной для надежности. Дополнительные сведения см. в разделе Настройка политики для точечных экземпляров

27 января 2022 г.

  • Были внесены улучшения в способы просмотра, предоставления общего доступа и импорта профиля запроса. См. раздел Профиль запроса.

  • Визуализация "Детали" теперь позволяет вам дать новое имя columns так же, как визуализация Table.

  • Теперь можно закрыть вкладку в редакторе SQL, щелкнув ее в центре.

  • В редактор SQL с вкладками добавлены следующие сочетания клавиш.

    • Закрыть все вкладки: Cmd + Option + Shift + A (macOS) / Ctrl+Option+Shift+A (Windows)
    • Закрыть другие вкладки: Cmd+Option+Shift+W (macOS) / Ctrl+Option+Shift+W (Windows)

    Эти сочетания клавиш можно использовать вместо щелчку правой кнопкой мыши на вкладке для получения доступа к тем же действиям. Чтобы просмотреть все сочетания клавиш, щелкните Значок клавиатуры значок клавиатуры в редакторе SQL с вкладками.

20 января 2022 г.

  • Форматирование по умолчанию для целых и плавающих типов данных в tables было обновлено, чтобы не включать запятые. Это означает, что по умолчанию values, например, 10002343 больше не будут запятыми. Чтобы отформатировать эти типы для отображения с запятыми, щелкните на Изменить визуализацию, разверните область для columnи измените формат, чтобы включить запятую.
  • Чтобы лучше соответствовать ограничениям рендеринга браузера, визуализации теперь отображают не более 10 000 точек данных. Например, диаграмма рассеяния будет отображать не более 10 000 точек. Если количество точек данных ограничено, выводится предупреждение.

13 января 2022 г.

  • Исправлена проблема, where иногда отключена кнопка "Сохранить " в редакторе SQL. Кнопка Сохранить теперь всегда включена, и при обнаружении несохраненных изменений на ней отображается звездочка (*).

15 декабря 2021 г.

  • Databricks SQL теперь находится в состоянии общедоступной версии. Это знаменует собой важную веху в обеспечении первой платформы Lakehouse, которая объединяет данные, ИИ и рабочие нагрузки бизнес-аналитики в одном месте. Общедоступная версия гарантирует самый высокий уровень стабильности, поддержки и корпоративной готовности Databricks для критически важных рабочих нагрузок. Дополнительные сведения см. в блоге объявлений о выходе общедоступных версий.
  • Оповещения теперь планируются независимо от запросов. При создании нового предупреждения и создании запроса вам будет предложено также создать расписание для оповещения. Если у вас есть оповещение, его расписание дублируется из исходного запроса. Это изменение также позволяет добавлять set оповещения как для запросов "Запустить от имени владельца", так и для "Запустить от имени зрителя". Запросы с выполнением от имени владельца выполняются по назначенному расписанию оповещения с учетными данными владельца запроса. Запросы с выполнением от имени зрителя выполняются по назначенному расписанию оповещения с учетными данными создателя оповещения. Ознакомьтесь с оповещениями Databricks SQL и запланируйте запрос.
  • Теперь вы можете повторно упорядочить parameters как в редакторе SQL, так и в панелях .
  • Расширена документация по созданию визуализаций тепловых карт. См. параметры тепловой карты.

9 декабря 2021 г.

  • При создании визуализации tableтеперь можно set цвет шрифта для column либо в статическое значение, либо в диапазон values на основе columnполя values. Литеральное значение сравнивается с пороговым значением. Например, чтобы цветировать результаты, values превышающие 500000, создайте пороговое значение > 500000, а не > 500,000. См. условное форматирование columnцветов.
  • Значки в вкладочном редакторе SQL schema теперь позволяют различать tables и views.

1 декабря 2021 г.

  • Теперь можно применить конфигурацию SQL parameters на уровне рабочей области. Эти parameters автоматически применяются ко всем существующим и новым конечным точкам SQL в рабочей области. См. раздел Настройка SQL parameters.

18 ноября 2021 г.

  • При просмотре журнала запроса теперь можно фильтровать запросы по субъекту-службе, которая их выполняла. См. раздел Просмотр журнала запросов.

  • Теперь можно открывать редактор SQL с помощью ярлыка на боковой панели. Чтобы открыть редактор SQL, щелкните ярлык Редактор SQL.

  • Если у вас есть разрешение на создание Обработка и анализ данных и инженерных кластеров, теперь можно создать конечные точки SQL, нажав кнопку "Создать" на боковой панели и щелкнув конечную точку SQL.

  • Теперь администраторы могут передавать права владения запросом, панелью мониторинга или оповещением другому пользователю с помощью пользовательского интерфейса. См.

4 ноября 2021 г.

  • В визуализации визуализации карты (Хороплет) максимальное количество шагов градиента для цветов в условных обозначениях увеличилось с 11 до 20. Значение по умолчанию — 5 градиентных шагов, включая Min color и Max color.
  • Редактор SQL с вкладками теперь поддерживает массовое управление вкладками. Если щелкнуть вкладку правой кнопкой мыши, отобразятся команды Close others (Закрыть остальные), Close left (Закрыть слева), Close right (Закрыть справа) и Close all (Закрыть все). Обратите внимание, что если щелкнуть правой кнопкой мыши первую или последнюю вкладку, команды Close left (Закрыть слева) и Close right (Закрыть справа) будут недоступны.

28 октября 2021 г.

  • При просмотре table в обозревателе Catalog у вас есть два варианта, чтобы упростить взаимодействие с table:
    • Щелкните Создать > запрос, чтобы создать запрос, который выбирает все columns и возвращает первые 1000 строк.
    • Щелкните Создать > быструю панель мониторинга, чтобы открыть страницу конфигурации where можно selectcolumns и создать панель мониторинга и вспомогательные запросы, которые предоставляют некоторые основные сведения с помощью этих columns и демонстрации parameters уровня панели мониторинга и других возможностей.

19 октября 2021 г.

  • Новые сочетания клавиш теперь доступны в редакторе с вкладками:
    • Откройте новую вкладку:
      • Windows: Cmd+Alt+T
      • Mac: Cmd+Option+T
    • Закрыть текущую вкладку
      • Windows: Cmd+Alt+W
      • Mac: Cmd+Option+W
    • Диалоговое окно открытия запроса
      • Windows: Cmd+Alt+O
      • Mac: Cmd+Option+O

23 сентября 2021 г.

  • Теперь вы можете создать новую панель мониторинга, клонируя существующую панель мониторинга, если у вас есть разрешение CAN RUN, CAN EDIT и CAN MANAGE на панели мониторинга и все последующие запросы. См . статью "Клонирование устаревшей панели мониторинга".
  • Теперь можно использовать GROUP BY в визуализации с несколькими осями Y columns. См . точечную диаграмму.
  • Теперь можно использовать {{ @@yPercent}} для форматирования меток данных в ненормализованной линейчатой диаграмме с накоплением. См. линейчатую диаграмму.
  • Если вы используете аутентификацию SAML и срок действия учетных данных SAML истекает через несколько минут, теперь запрос на повторное выполнение входа отобразится перед выполнением запроса или обновлением панели мониторинга. Это помогает предотвратить нарушение работы из-за учетных данных, срок действия которых истекает во время выполнения запроса.

20 сентября 2021 г.

  • Теперь можно передавать права владения панелями мониторинга, запросами и оповещениями с помощью REST API разрешений. См . списки управления доступом запросов.

16 сентября 2021 г.

  • В результатах запроса результаты BIGINT теперь сериализуются как строки, если значение 9007199254740991 превышается. Это устраняет проблему, whereBIGINT результаты могут быть усечены в результатах запроса. Другие целочисленные результаты по-прежнему сериализуются как числа. Форматирование чисел в метках осей и подсказках не применяется к результатам BIGINT, которые сериализуются как строки. Дополнительные сведения о типах данных в Databricks SQL см. в статье Тип BIGINT.

7 сентября 2021 г.

Для Databricks в течение недели будет выпущено несколько изменений. Эти изменения могут быть активированы для вашей рабочей области только после 7 сентября.

  • Решение Databricks SQL теперь предоставляется в общедоступной предварительной версии и доступно всем пользователям в новых рабочих областях.

    Примечание.

    Если ваша рабочая область была активирована для Databricks SQL во время действия общедоступной предварительной версии (до недели, начавшейся 7 сентября 2021 г.), пользователи сохраняют права, назначенные до этой даты, пока вы их не измените. Другими словами, если у пользователей не было доступа к Databricks SQL в общедоступной предварительной версии, у них его не будет, пока администратор не предоставит такой доступ.

  • Администраторы могут управлять тем, какие пользователи имеют доступ к Databricks SQL, назначая право доступа к Databricks SQL (databricks-sql-access в API) пользователям или группам. Новые пользователи имеют это право по умолчанию.

    Администраторы могут limit пользователя или группы для доступа только к Databricks SQL и запретить им доступ к & инженерии или Databricks Mosaic AI, удалив доступ к рабочей области (workspace-access в API) от пользователя или группы. Новые пользователи имеют это право по умолчанию.

    Внимание

    Чтобы войти в систему и получить доступ к Azure Databricks, пользователь должен иметь право на доступ к Databricks SQL или доступ к рабочей области (или и то, и другое).

  • Небольшая классическая конечная точка SQL с именем начальной конечной точки предварительно настроена для всех рабочих областей, поэтому вы можете get сразу создавать панели мониторинга, визуализации и запросы. Для обработки более сложных рабочих нагрузок вы можете легко увеличить их размер (для сокращения задержки) или число базовых кластеров (для поддержки большего числа параллельных пользователей). Для управления затратами конечная точка Starter настраивается на завершение работы после 120 минут простоя.

  • Чтобы get быстро начать свою работу, для администраторов и пользователей доступен новый интерактивный опыт настройки. Панель подключения отображается по умолчанию, и вы всегда можете увидеть, сколько задач подключения осталось на боковой панели. Щелкните Оставшиеся задачи, чтобы повторно открыть панель подключения.

  • Вы можете get быстро начать использовать Databricks SQL с двумя богатыми наборами данных в режиме catalog только для чтения под названием SAMPLES, который доступен во всех рабочих областях. Когда вы узнаете о Databricks SQL, эти схемы можно использовать для создания запросов, визуализаций и панелей мониторинга. Конфигурация не требуется, и у всех пользователей есть доступ к этим схемам.

    • nyctaxi schema содержит данные о поездке на такси в tripstable.
    • tpch schema содержит данные по розничной выручке и цепочке поставок в следующих tables:
      • customer
      • lineitem
      • nation
      • orders
      • part
      • partsupp
      • region
      • supplier

    Щелкните , чтобы запустить первый запрос на панели для начала работы и generate новый запрос nyctaxischema.

  • Чтобы узнать о визуализации данных в Databricks SQL без обязательной настройки, импортируйте панели мониторинга из коллекции примеров панелей мониторинга. Эти панели мониторинга работают на основе наборов данных в SAMPLEScatalog.

    Чтобы просмотреть коллекцию примеров панелей мониторинга, щелкните Import sample dashboard (Импортировать пример панели мониторинга) на панели подключения.

  • Теперь вы можете создавать и удалять собственные функции SQL с помощью команд CREATE FUNCTION и DROP FUNCTION.

2 сентября 2021 г.

  • Пользователи с разрешением CAN EDIT на панели мониторинга теперь могут управлять refresh расписания и подписки панели мониторинга list. Ранее требуется разрешение CAN MANAGE. Дополнительные сведения см. в статье Автоматическая настройка refresh панели мониторинга.

  • По умолчанию визуализации больше не изменяют динамически размер в зависимости от числа возвращаемых результатов, но сохраняют одинаковую высоту независимо от количества результатов. Чтобы вернуться к предыдущему поведению и настроить визуализацию для динамического изменения размера, включите параметр Динамическое изменение высоты панели для визуализации панели мониторинга. Дополнительные сведения см. в опциях Table.

  • Если у вас есть доступ к нескольким рабочим областям в одной учетной записи, вы можете переключаться между ними из Databricks SQL. Щелкните значок учетной записи в левом нижнем углу рабочей области Azure Databricks, а затем select рабочую область, чтобы перейти к ней.

12 августа 2021 г.

5 августа 2021 г.

  • Улучшенное форматирование EXPLAIN результатов
    • Explain результаты проще для чтения
    • Используется моноширинный формат без переноса строки.

29 июля 2021 г.

  • Применение нескольких запросов теперь стало проще благодаря поддержке нескольких вкладок в редакторе запросов. Сведения об использовании редактора с вкладками см. в разделе Изменение нескольких запросов.

8 июля 2021 г.

  • Мини-приложения визуализации в панелях мониторинга теперь имеют заголовки и описания, чтобы вы могли адаптировать заголовки и описания визуализаций, используемые в нескольких панелях мониторинга, к самой панели мониторинга.
  • Боковая панель обновлена для улучшения видимости и навигации:
    • Хранилища теперь называются Конечные точки SQL, а Журнал переименован в Журнал запросов.
    • Параметры учетной записи (ранее именованные пользователи) были перемещены в Значок учетной записи SQL учетную запись. При учетной записи можно изменить рабочей области Azure Databricks и выйти из нее.
    • Параметры пользователя были перемещены в Значок параметров пользователяпараметры и разделены на параметры и консоль администрирования SQL. Консоль администратора SQL отображается только для администраторов.
    • Значок справки изменился на справкуHelp icon.

1 июля 2021 г.

  • Новый обозреватель Catalog позволяет легко изучить разрешения для баз данных и tablesи управлять ими. Пользователи могут видеть детали schema, примеры данных и просматривать детали и свойства table. Администраторы могут просматривать и изменять владельцев объектов данных, а владельцы объектов данных могут изменять разрешения grant и revoke. Дополнительные сведения см. в разделе Что такое Catalog Explorer?.
  • Оси Y в горизонтальных диаграммах были обновлены, чтобы отразить то же упорядочение, что и в tables. Если вы ранее выбрали обратную сортировку, вы можете использовать переключатель Обратная сортировка на вкладке "Ось Y", чтобы изменить порядок сортировки.

23 июня 2021 г.

  • Упрощена настройка конечных точек SQL с помощью субъектов-служб. Теперь доступен элемент управления, который позволяет настроить субъект-службу в параметре глобальных конечных точек SQL. См. раздел Настройка субъекта-службы.
  • Теперь поддерживается Temp views.

17 июня 2021 г.

  • Photon, новый векторизованный модуль выполнения Databricks, теперь включен по умолчанию для новых конечных точек SQL (в пользовательском интерфейсе и REST API). Фотона прозрачно ускоряется
    • Записывает данные в Parquet и Delta tables.
    • выполнение многих запросов SQL. См . ограничения.
  • С легкостью управляйте пользователями и группами с помощью команд CREATE GROUP, DROP GROUP, ALTER GROUP, SHOW GROUPS и SHOW USERS. Дополнительные сведения см. в разделах Инструкции по безопасности и Инструкции отображения.
  • Редактор запросов schema в браузере работает быстрее на схемах с более чем 100 tables. В таких схемах браузер schema не загружает все columns автоматически; listtables отображается как обычно, но columns будут загружаться только при щелчке table. Это изменение влияет на автозавершение запросов в редакторе запросов, так как оно использует эти данные для отображения предложений. Пока вы не развернете table и загрузите его columns, эти предложения недоступны.

3 июня 2021 г.

  • Администраторы новых рабочих областей Azure Databricks теперь получают право на работу с Databricks SQL по умолчанию и больше не должны самостоятельно предоставлять себе такое право с помощью консоли администратора.
  • Photon теперь предоставляется в общедоступной предварительной версии и включен по умолчанию для новых конечных точек SQL.
  • Балансировка нагрузки для нескольких кластеров теперь предоставляется в общедоступной предварительной версии.
  • Теперь вы можете включить совместную работу на панелях мониторинга и запросах с другими членами организации с помощью разрешения CAN EDIT. См. раздел Списки управления доступом.

26 мая 2021 г.

  • Аналитика SQL переименована в Databricks SQL. Это изменение влияет на следующие проблемы с клиентом:

    • Ссылки в пользовательском веб-интерфейсе обновлены.

    • Право grant доступа к Databricks SQL было переименовано:

      • пользовательский интерфейс: Доступ к Databricks SQL (ранее Доступ к Аналитике SQL);
      • API SCIM: databricks-sql-access (ранее sql-analytics-access).

      Пользователи, группы и субъекты-службы с предыдущими правами были перенесены в новое право.

    • Теги для событий журнала аудита, связанных с Databricks SQL, изменились:

      • префикс для событий Databricks SQL теперь имеет вид databrickssql;
      • changeSqlAnalyticsAcl изменено на changeDatabricksSqlAcl.
  • Обновления панели мониторинга
    • Имя файла экспорта панели мониторинга было изменено на "панель мониторинга + метка времени" вместо UUID.
    • Записи экспорта limit увеличены с 22 тыс. до 64 тыс.

20 мая 2021 г.

  • Теперь можно использовать собственный ключ из Azure Key Vault для шифрования запросов и журнала запросов Databricks SQL, хранящихся в Azure Databricks. Если вы уже настроили собственный ключ для рабочей области, чтобы шифровать данные для управляемых служб (записные книжки и секреты), дальнейшие действия не требуются. Тот же управляемый клиентом ключ для управляемых служб теперь также шифрует запросы и журнал запросов Databricks SQL. См . ключи, управляемые клиентом, для управляемых служб. Это изменение затрагивает только новые хранимые данные. Шифрование с помощью этого ключа запросов и журнала запросов Databricks SQL, которые хранились до этого момента, не гарантируется.

    Результаты запросов Databricks SQL хранятся в корневом экземпляре Хранилища BLOB-объектов Azure, созданного в Azure Databricks при настройке рабочей области. Они не шифруются ключом управляемых служб. Но вы можете использовать собственный ключ, чтобы зашифровать их. Ознакомьтесь с ключами, управляемыми клиентом, для корневого каталога DBFS.

    Эта функция доступна с планом Premium.

  • На вкладке Past executions (Предыдущие выполнения) теперь указывается относительное время.

13 мая 2021 г.

  • Databricks SQL больше не пытается угадать column типов. Ранее column с форматом xxxx-yy-dd автоматически рассматривались как дата, даже если это был идентификационный код. Теперь, когда column больше не считается датой. При необходимости этот тип можно указать в запросе. Такое изменение может привести к тому, что некоторые визуализации, зависящие от предыдущего поведения, перестанут работать. В этом выпуске можно изменить Значок параметров пользователя>параметр "Параметры>обратной совместимости", чтобы вернуться к предыдущему поведению. В будущем выпуске мы будем remove этой возможности.

  • Теперь в редакторе запросов есть индикатор выполнения запроса. Изменения состояния теперь отображаются на постоянно обновляемом индикаторе выполнения.

    Индикатор выполнения

6 мая 2021 г.

  • Теперь вы можете скачивать содержимое панели мониторинга как PDF-файл. См. раздел Скачивание в качестве PDF-файла.

  • У администратора теперь есть доступ к представлению всех запросов и панелей мониторинга. В этом представлении администратор может просматривать и удалять любые запросы или панели мониторинга. Однако администратор не может изменить запрос или панель мониторинга, если она не предоставлена администратору. См. представление администратора запросов и устаревшее представление администратора панели мониторинга.

  • Теперь для всех учетных записей доступна возможность повысить уровень параллелизма конечных точек с балансировкой нагрузки в нескольких кластерах. Вы можете создавать конечные точки, которые автоматически масштабируются между указанными минимальным и максимальным количеством кластеров. Для перегруженных конечных точек масштаб будет вертикально увеличиваться, а для конечных точек с недостаточной нагрузкой — уменьшаться.

29 апреля 2021 г.

22 апреля 2021 г.

  • Исправлена проблема, из-за которой конечные точки были недоступны (отображались как удаленные) из-за внутренней ошибки.

16 апреля 2021 г.

Databricks SQL обеспечивает совместимость с семантикой SQL в Apache Spark. В этом выпуске представлено обновление семантики для соответствия семантике Apache Spark 3.1. Ранее в Databricks SQL использовалась семантика Apache Spark 3.0.

  • Статистические агрегатные функции, включая std, stddev, stddev_samp, variance, var_samp, skewness, kurtosis, covar_sampи corr, возвращают NULL вместо Double.NaN при DivideByZero вычислении выражений, например при применении stddev_samp к одному элементу set. До этого выпуска возвращался Double.NaN.
  • grouping_id() возвращает длинную values. До этого выпуска эта функция вернула int values.
  • Результаты плана запроса explain теперь отформатированы.
  • from_unixtime, unix_timestamp,to_unix_timestamp, to_timestamp и to_date завершатся со сбоем, если указанный шаблон даты и времени является недопустимым. До этого выпуска они возвращали NULL.
  • Источники данных Parquet, ORC, Avro и JSON вызывают исключение org.apache.spark.sql.AnalysisException: "Найдено повторяющееся column(ы) в данных schema в случаях, когда они обнаруживают повторяющиеся имена как на верхнем уровне columns, так и во вложенных структурах".
  • Структуры и сопоставления заключаются в скобки ({}) при их приведении к строкам. Например, действие show() и выражение CAST используют такие скобки. До этого выпуска скобки использовались с такой же целью.
  • Элементы NULL структур, массивов и сопоставлений преобразуются в значения NULL при их приведении к строкам. До этого выпуска элементы NULL преобразовывались в пустые строки.
  • Сумма десятичного типа column при переполнении возвращает значение NULL. До этого выпуска в случае сумма десятичного типа column может возвращать значение NULL или неверный результат или даже завершается сбоем во время выполнения (в зависимости от фактического выполнения плана запроса).
  • IllegalArgumentException возвращается для неполных литералов интервалов, например INTERVAL '1', INTERVAL '1 DAY 2', которые являются недопустимыми. До этого выпуска такие литералы приводили к получению значений NULL.
  • Загрузка меток времени из файлов Parquet и их сохранение в них завершается сбоем, если для меток времени установлено значение ранее 1900-01-01 00:00:00Z и они загружаются (сохраняются) как тип INT96. До этого выпуска действия не завершались ошибкой, но могли приводить к смещению входных меток времени из-за перехода на юлианский календарь с григорианского или наоборот.
  • Функции schema_of_json и schema_of_csv возвращают schema в формате SQL, в котором указаны имена полей. До этого выпуска функция возвращала строку в формате catalog без экранирования полей и в нижнем регистре букв.
  • CHAR,CHARACTERи VARCHAR типы поддерживаются в tableschema. Table сканирование и вставка учитывают семантику типов данных char/varchar. Если char/varchar используется в местах, отличных от tableschema, создается исключение (CAST — это исключение, которое просто обрабатывает char/varchar как строку, как и раньше).
  • Следующие исключения выбрасываются для tables из внешнего catalogHive:
    • ALTER TABLE .. ADD PARTITION выдает PartitionsAlreadyExistException, если новый partition уже существует.
    • ALTER TABLE .. DROP PARTITION выдает исключение NoSuchPartitionsException для несуществующих разделов.

13 апреля 2021 г.

  • Улучшенная пропускная способность запросов с помощью организации очереди конечных точек SQL. Запросы, отправленные на конечную точку SQL, теперь помещаются в очередь, если конечная точка уже выполняет большое число запросов. Это повышает пропускную способность запросов, так как конечная точка не перегружается ими. Вы можете оценить улучшенную производительность на экране мониторинга конечных точек.

01 апреля 2021 г.

  • Расширение "Журнал запросов" позволяет быстро узнать время, затраченное на компиляцию, выполнение и выборку результатов для запроса. См. раздел Профиль запроса. Ранее эти сведения были доступны только на вкладке "Сведения о выполнении". Чтобы открыть ее, нужно щелкнуть имя запроса.
  • Конечные точки SQL больше не масштабируются за пределы максимального числа указанных кластеров. Все кластеры, выделенные оконечному пункту SQL, перераспределяются каждые 24 часа, что может вызвать кратковременное состояние window, при котором существует один дополнительный кластер.

18 марта 2021 г.

  • Автозаполнение в редакторе запросов теперь поддерживает синтаксис Databricks SQL, который учитывает контекст и псевдоним. Сведения см. в разделе Создание запроса.
  • Запросы JDBC и ODBC больше не завершаются с недопустимыми ошибками сеанса после истечения времени ожидания сеанса на сервере. Клиенты бизнес-аналитики теперь могут легко восстанавливаться при превышении времени ожидания сеанса.

11 марта 2021 г.

  • Администраторам и пользователям в рабочих областях, недавно включенных для Databricks SQL, больше автоматически не предоставляется й доступ к Databricks SQL. Чтобы включить доступ к Databricks SQL, администратору необходимо:
    1. Перейдите на страницу параметров администратора.
    2. Откройте вкладку Пользователи .
    3. В строке учетной записи установите флажок Databricks SQL access (Доступ к Databricks SQL).
    4. Нажмите кнопку Подтвердить.
    5. Повторите шаги 3 и 4, чтобы предоставить grant пользователям доступ к Databricks SQL или grant доступ к группам.
  • Простое создание запросов, панелей мониторинга и оповещений, выбрав Значок "Создать > " [Запрос | Панель мониторинга | Оповещение] в верхней части боковой панели.
  • Теперь Редактор запросов сохраняет черновики, чтобы можно было отменить изменения и вернуться к сохраненному запросу. См. статью " Запись запросов" и изучение данных в редакторе SQL.
  • Больше нельзя создавать внешние источники данных.
  • Повышена надежность диаграммы мониторинга конечных точек SQL. На диаграмме больше не отображаются ложные сообщения об ошибках.

04 марта 2021 г.

  • Теперь доступна документация по API запросов, панелей мониторинга и оповещений. См . справочник по REST API Databricks.

  • Запланированные обновления панели мониторинга теперь выполняются всегда. Обновления выполняются в веб-приложении, поэтому вам больше не нужно оставлять панель мониторинга открытой в браузере. См. панели мониторинга в автоматическом режиме refresh.

  • Новые конечные точки SQL, созданные с помощью API хранилища SQL, теперь включают автоматическую остановку с интервалом ожидания по умолчанию в течение двух часов.

  • Пользователи Tableau Online теперь могут подключаться к конечным точкам SQL. Ознакомьтесь с новым кратким руководством по Tableau Online.

26 февраля 2021 г.

Новый соединитель Power BI для Azure Databricks, выпущенный в общедоступной предварительной версии в сентябре 2020 г., теперь предоставляется в общедоступной версии. Предоставляет:

  • Простая конфигурация подключения — новый соединитель Azure Databricks Power BI интегрирован в Power BI. Его можно настроить с помощью простого диалогового окна, выполнив несколько действий.
  • Проверка подлинности на основе идентификатора Microsoft Entra credentials— администраторам больше не нужно настраивать маркеры PAT.
  • Ускоренный импорт и оптимизированные вызовы метаданных благодаря новому драйверу ODBC Azure Databricks, который обеспечивает значительное повышение производительности.
  • Доступ к данным Azure Databricks с помощью Power BI учитывает разрешения Azure Databricks table и разрешения учетной записи хранения Azure, связанные с удостоверением идентификатора Microsoft Entra.

Дополнительные сведения см. в статье "Подключение Power BI к Azure Databricks".

25 февраля 2021 г.

  • Настройка разрешений для конечной точки SQL теперь выполняется быстрее. Это следующий шаг после создания новой конечной точки SQL, который также можно без усилий выполнить при редактировании существующей конечной точки. См. статью "Подключение к хранилищу SQL" и управление хранилищем SQL.
  • Для повторного использования параметров визуализации теперь можно дублировать визуализацию. См. раздел Клонирование визуализации.
  • Результаты запроса теперь хранятся в вашей учетной записи, а не учетной записи Azure Databricks.
  • Чтобы предотвратить утечку информации путем перечисления всех определенных разрешений для объекта, необходимо выполнить SHOW GRANTS [<user>] <object> следующее:
    • Администратор Databricks SQL или владелец <object>.
    • пользователем, определенным в [<user>].

7 января 2021 г.

  • Чтобы сократить расходы на неактивные конечные точки, для новых конечных точек SQL теперь будет включен режим автоматической остановки со стандартным временем ожидания два часа. По истечении этого периода ожидания конечная точка будет остановлена. Вы можете изменить период ожидания или отключить автоматическую остановку в любое время.
  • За исключением запроса типа TEXTparameters, кавычки больше не добавляются в запрос parameters. Если вы использовали Dropdown List, Query Based Dropdown Listили запрос типа Date, или любой другой запрос типа parameters, необходимо добавить кавычки, чтобы запрос работал. Например, если у вас есть запрос SELECT {{ d }}, теперь этот запрос должен быть SELECT '{{ d }}'.

18 ноября 2020 г.

Команда Databricks представляет общедоступную предварительную версию Databricks SQL. Это интуитивно понятная среда для выполнения нерегламентированных запросов и создания панелей мониторинга для данных, которые хранятся в озере данных. Databricks SQL предоставляет организации возможности использовать многооблачную архитектуру озер и хранилищ, которая обеспечивает производительность хранилищ данных и экономичность озер данных. Databricks SQL:

  • Интегрируется с доступными средствами бизнес-аналитики, такими как Tableau и Microsoft Power BI, позволяя выполнять запросы к актуальным данным в вашем озере данных.
  • Дополняет существующие средства бизнес-аналитики, предоставляя интерфейс SQL, с помощью которого специалисты по анализу и обработке данных могут отправлять запросы к озеру данных непосредственно из Azure Databricks.
  • Позволяет обмениваться аналитикой запросов через многофункциональные визуализации и перетаскивать панели мониторинга с автоматическими оповещениями о важных изменениях в данных.
  • Использует подключение к хранилищу SQL для обеспечения надежности, качества, масштабирования, безопасности и производительности в озере данных, чтобы можно было запускать традиционные рабочие нагрузки аналитики с помощью последних и полных данных.
  • Предоставляет привилегию USAGE, которая упрощает администрирование доступа к данным. Чтобы использовать объект в schema, вам необходимо предоставить привилегию USAGE для этого schema, кроме любых других привилегий, которые необходимы для выполнения действия. USAGE привилегия может быть предоставлена схемам или catalog. Для рабочих пространств, которые уже используют table управление доступом, привилегии USAGE предоставляются автоматически группе пользователей на корневом CATALOG. Дополнительные сведения см. в разделе "Привилегии хранилища метаданных Hive" и защищаемые объекты (устаревшие ).

Дополнительные сведения см. в статье " Что такое хранилище данных в Azure Databricks?" .

Устраненные проблемы

  • Редактор SQL. Редактор SQL теперь будет сохранять выделенный текст и положение прокрутки при переключении между вкладками запроса.
  • Редактор SQL. Если щелкнуть "Выполнить" в запросе в редакторе SQL, перейдите на другую страницу и вернитесь во время выполнения запроса, редактор отобразит правильное состояние запроса. Если запрос завершится, пока вы находитесь на другой странице, результаты запроса будут доступны при возвращении на страницу редактора SQL.
  • Теперь MySQL 8.0 можно использовать в качестве внешнего хранилища метаданных.
  • команды DESCRIBE DETAIL на Delta tables больше не завершаются сбоем из-за java.lang.ClassCastException: java.sql.Timestamp cannot be cast to java.time.Instant.
  • Считывание файлов Parquet с метками времени INT96 больше не завершается ошибкой.
  • Если пользователь имеет разрешение CAN RUN на запрос и запускает его, если запрос был создан другим пользователем, журнал запросов отображает средство выполнения запроса в качестве пользователя.
  • Теперь values null игнорируются при отрисовке диаграммы, что повышает удобство использования диаграмм. Например, ранее столбцы в столбчатой диаграмме выглядели бы очень маленькими при наличии NULL values. Теперь оси set основываются только на ненулевом values.

Известные проблемы

  • Операции чтения из источников данных, отличающихся от озер данных в многокластерных конечных точках SQL с распределенной нагрузкой, могут быть несогласованными.
  • Delta tables, доступная в Databricks SQL, загружает свои свойства schema и table в настроенное хранилище метаданных. Если вы используете внешнее хранилище метаданных, вы сможете просматривать сведения о Delta Lake в хранилище метаданных. Delta Lake делает все возможное, чтобы поддерживать эти данные в актуальном состоянии. Вы также можете использовать команду DESCRIBE <table> для гарантированного обновления информации в хранилище метаданных.
  • Databricks SQL не поддерживает смещения часовых поясов, такие как GMT+8, в качестве часового пояса сеанса. Для решения этой проблемы можно использовать часовой пояс на основе региона (https://en.wikipedia.org/wiki/List_of_tz_database_time_zones), например Etc/GMT+8. Дополнительные сведения о настройке часовых поясов см. в SET TIME ZONE.

Вопросы и ответы

Как начисляется плата за рабочие нагрузки Databricks SQL?

Плата за рабочие нагрузки Databricks SQL начисляется в соответствии с ценовой категории "Стандартный" для SKU Jobs Compute.

Where выполняются ли конечные точки SQL?

Как и в случае с кластерами Azure Databricks, конечные точки SQL создаются и управляются в учетной записи Azure. Конечные точки SQL автоматически управляют оптимизированными для SQL кластерами в вашей учетной записи и масштабируются в соответствии с потребностями конечных пользователей.

Можно ли использовать конечные точки SQL из записных книжек SQL рабочей области для обработки, анализа и инжиниринга данных?

№ Конечные точки SQL можно использовать из запросов, средств бизнес-аналитики и других клиентов JDBC и ODBC в Databricks SQL.

Мне предоставлен доступ к данным с использованием учетных данных поставщика облачных служб. Почему я не могу получить доступ к этим данным в Databricks SQL?

В Databricks SQL все доступ к данным подвержены контролю доступа к данным, а администратор или владелец данных должны сначала grant соответствующие привилегии .