Хранение и запрос данных в режиме реального времени

15 мин

Центры событий хранят данные в режиме реального времени, часто принятые потоком событий и загруженные в таблицы для дальнейшей обработки и анализа.

Снимок экрана: хранилище событий в Microsoft Fabric.

В доме событий можно создать следующее:

Базы данных KQL: оптимизированные в режиме реального времени хранилища данных, в которых размещена коллекция таблиц, хранимых функций, материализованных представлений и сочетаний клавиш.
Наборы запросов KQL: коллекции запросов KQL, которые можно использовать для работы с данными в таблицах базы данных KQL. Набор запросов KQL поддерживает запросы, написанные с помощью язык запросов Kusto (KQL) и подмножества языка Transact-SQL.

Запрос данных

Для запроса данных из таблицы в базе данных KQL можно использовать язык запросов Kusto (KQL), которая используется для записи запросов в Azure Data Explorer, Azure Monitor Log Analytics, Microsoft Sentinel и Microsoft Fabric. KQL — это запрос только для чтения для обработки данных и возврата результатов. Запросы KQL создаются из одной или нескольких инструкций запроса.

Инструкции запроса KQL

Оператор запроса состоит из имени таблицы, за которой следует один или несколько операторов, которые take, , aggregatefiltertransformили join данные. Например, следующий запрос получает 10 строк из таблицы с именованным фондом:

stock
| take 10

Более сложный пример может агрегировать данные, чтобы найти среднюю цену акций на символ акций за последние пять минут:

 stock
 | where ["time"] > ago(5m)
 | summarize avgPrice = avg(todecimal(bidPrice)) by symbol
 | project symbol, avgPrice

Совет

Дополнительные сведения о KQL см. в обзоре язык запросов Kusto (KQL).

Использование SQL

KQL оптимизирован для запроса больших объемов данных, особенно с элементом на основе времени; поэтому это отлично подходит для анализа данных в режиме реального времени. Однако многие специалисты по данным уже знакомы с синтаксисом SQL; поэтому базы данных KQL в хранилищах событий поддерживают подмножество распространенных выражений SQL.

Например, эквивалентный SQL для запроса 10 KQL, рассмотренного ранее, будет следующим:

SELECT TOP 10 * FROM stock;

Использование Copilot для справки по запросам

Microsoft Fabric включает Copilot для аналитики в режиме реального времени, что может помочь вам написать запросы, необходимые для извлечения аналитических сведений из данных хранилища событий. Copilot использует ИИ для понимания информации, которую вы ищете, и может создать необходимый код запроса для вас.