Поделиться через

Политика ускорения запросов (предварительная версия)

  • Статья

Область применения: ✅Microsoft Fabric✅Azure Data Explorer

Внешняя таблица — это сущность схемы, которая ссылается на данные, хранящиеся вне базы данных Kusto. Запросы, выполняемые по внешним таблицам, могут быть менее производительными, чем при приеме данных из-за различных факторов, таких как сетевые вызовы для получения данных из хранилища, отсутствия индексов и т. д. Ускорение запросов позволяет указывать политику поверх внешних разностных таблиц. Эта политика определяет несколько дней для ускорения обработки данных для высокопроизводительных запросов.

Ускорение запросов поддерживается в Azure Data Explorer через Azure Data Lake Store 2-го поколения или внешние таблицы хранилища BLOB-объектов Azure.

Ускорение запросов поддерживается в Eventhouse через OneLake, Azure Data Lake Store 2-го поколения или внешние таблицы хранилища BLOB-объектов Azure.

Сведения о включении ускорения запросов в пользовательском интерфейсе Fabric см. в разделе "Ускорение запросов по сочетаниям клавиш OneLake".

Ограничения

  • Число столбцов во внешней таблице не может превышать 900.
  • Разностные таблицы с контрольной точкой версии 2 не поддерживаются.
  • Производительность запросов по сравнению с ускоренными внешними разностными таблицами, которые имеют секции, могут быть неоптимальными во время предварительной версии.
  • Эта функция предполагает, что разностные таблицы со статическими расширенными функциями, например сопоставление столбцов не изменяется, секции не изменяются и т. д. Чтобы изменить расширенные функции, сначала отключите политику и после внесения изменений повторно включите политику.
  • Изменения схемы в разностной таблице также должны следовать с соответствующей .alter схемой внешней разностной таблицы, что может привести к ускорению, начиная с нуля, если произошло критическое изменение схемы.
  • Очистка на основе индекса не поддерживается для секций.
  • Файлы Parquet с сжатым размером более 6 ГБ не кэшируются.
  • Ускорение запросов не поддерживается для внешних таблиц с проверкой подлинности олицетворения.

Известные проблемы

  • Данные во внешней разностной таблице, оптимизированной с помощью функции OPTIMIZE , необходимо повторно включить.
  • При выполнении часто выполняемых операций MERGE/UPDATE/DELETE в разностном режиме базовые файлы parquet могут быть перезаписаны с изменениями, и Kusto пропустит ускорение таких файлов, что приводит к получению во время запроса.
  • В системе предполагается, что все артефакты в каталоге разностной таблицы имеют одинаковый уровень доступа для выбранных пользователей. Различные файлы с разными разрешениями доступа в каталоге разностной таблицы могут привести к неожиданному поведению.

Команды для ускорения запросов