Прием и преобразование данных в режиме реального времени

  • 15 мин

Потоки событий в Microsoft Fabric используются для записи, преобразования и загрузки данных в режиме реального времени из широкого спектра источников потоковых данных. При настройке потока событий в системе вы определяете подсистему обработки данных, которая постоянно выполняется для приема и преобразования данных в режиме реального времени. Вы сообщаете ему, откуда получать данные, откуда отправлять их, а также как изменить их по мере необходимости.

Снимок экрана: поток событий в Microsoft Fabric.

Источники данных для потоков событий

Потоки событий в Microsoft Fabric поддерживают широкий спектр источников данных, в том числе:

  • Внешние службы, такие как служба хранилища Azure, Центры событий Azure, Центр Интернета вещей Azure, центры Apache Kafka, каналы отслеживания измененных данных (CDC) в службах реляционных баз данных и других.
  • События Структуры, такие как изменения элементов в рабочей области Fabric, изменения данных в хранилищах данных OneLake и события, связанные с заданиями Fabric.
  • Примеры данных, которые включают в себя ряд примеров, которые помогут вам изучить сценарии аналитики в режиме реального времени в Microsoft Fabric.

Совет

Дополнительные сведения о поддерживаемых источниках см. в статье "Поддерживаемые источники для Концентратора реального времени Fabric".

Преобразования данных в потоках событий

Вы можете преобразовать данные по мере его передачи в потоке событий, что позволяет фильтровать, суммировать и изменять их перед сохранением. Доступные преобразования:

  • Фильтр. Используйте преобразование фильтра для фильтрации событий на основе значения поля во входных данных. В зависимости от типа данных (число или текст), преобразование сохраняет значения, соответствующие выбранному условию, например null или is not null.
  • Управление полями. Это преобразование позволяет добавлять, удалять, изменять тип данных или переименовать поля, поступающие из входных или других преобразований.
  • Агрегат. Используйте преобразование "Агрегат" для вычисления агрегата (суммы, минимального, максимального или среднего) каждый раз, когда новое событие происходит за период времени. Эта операция также позволяет переименовать эти вычисляемые столбцы и отфильтровать или срезы агрегирования на основе других измерений в данных. В одном или нескольких агрегатах можно выполнить одно или несколько агрегатов.
  • Группа по: используйте группу путем преобразования для вычисления агрегатов во всех событиях в течение определенного периода времени. Вы можете выполнять группирование по значениям в одном или нескольких полях. Это похоже на преобразование "Агрегат" позволяет переименовать столбцы, но предоставляет дополнительные возможности агрегирования и включает более сложные параметры для временных окон. Например, агрегат можно добавить несколько агрегатов для каждого преобразования.
  • Объединение. Используйте преобразование Union для подключения двух или нескольких узлов и добавления событий с общими полями (с одинаковым именем и типом данных) в одну таблицу. Поля, которые не соответствуют, удаляются и не включаются в выходные данные.
  • Развернуть: используйте это преобразование массива для создания новой строки для каждого значения в массиве.
  • Присоединение: это преобразование для объединения данных из двух потоков на основе соответствующего условия между ними.

Совет

Дополнительные сведения о поддерживаемых преобразованиях см. в разделе "Обработка данных событий с помощью редактора обработчика событий".

Назначения данных в потоках событий

Данные из потока можно загрузить в следующие назначения:

  • Eventhouse: это назначение позволяет получать данные событий в реальном времени в хранилище событий, где можно использовать язык запросов Kusto (KQL) для запроса и анализа данных.
  • Lakehouse: Это назначение дает вам возможность преобразовывать события в режиме реального времени перед приемом их в озеро. События в режиме реального времени преобразуются в формат Delta Lake, а затем хранятся в назначенных таблицах lakehouse.
  • Производный поток: производный поток используется для перенаправления выходных данных потока событий в другой поток событий. Производный поток представляет преобразованный поток по умолчанию после обработки потока.
  • Активация Fabric. Это назначение позволяет напрямую подключать данные событий реального времени к активатору Fabric. Это интеллектуальный агент, который может автоматизировать действия на основе значений в потоке.
  • Настраиваемая конечная точка: с помощью этого назначения можно направлять события в режиме реального времени в пользовательскую конечную точку. Это назначение полезно, если вы хотите направлять данные в режиме реального времени во внешнюю систему или пользовательское приложение за пределами Microsoft Fabric.

Совет

Дополнительные сведения о поддерживаемых источниках см. в разделе "Добавление назначения" и управление ими в потоке событий.