Описание центра реального времени Microsoft Fabric

  • 15 мин

Получение данных в концентратор реального времени

Центр реального времени служит вашим шлюзом для обнаружения и управления потоком потоковых данных. Это динамический каталог, который включает в себя:

Снимок экрана: роль концентратора реального времени в аналитике в режиме реального времени.

  • Потоки событий: получить доступ ко всем активным потокам событий в Fabric, которые можно просмотреть.
  • Источники Майкрософт. Быстрый поиск и настройка доступных источников потоковой передачи, таких как Центры событий Azure, Центр Интернета вещей Azure и различные параметры отслеживания измененных данных (CDC) из Базы данных SQL Azure, Azure Cosmos DB и PostgreSQL DB.
  • События Fabric. Используйте функции, управляемые событиями, для мгновенного уведомления и обработки данных. Удерживайте вкладки на событиях из элементов рабочей области Fabric в Хранилище BLOB-объектов Azure, которые могут инициировать дальнейшие процессы или рабочие процессы. Это действие может включать запуск конвейера данных или отправку оповещения электронной почты. Кроме того, у вас есть гибкость для маршрутизации этих событий в разные места назначения через потоки событий. Оповещения позволяют взаимодействовать как в рабочей области, так и за ее пределами из концентратора реального времени, нажав Снимок экрана: кнопка кнопку "Задать оповещение".

Все эти сведения представлены в простом формате дайджеста, обеспечивая простую интеграцию с рабочими нагрузками Fabric.

Источник потока событий

Функция потоков событий Microsoft Fabric в режиме реального времени позволяет легко интегрировать события реального времени в Fabric. Вы можете создать поток событий, который является экземпляром в Fabric, добавлять источники данных о событиях, применять необязательные преобразования к данным и направлять его в различные назначения без необходимости написания кода. Этот подход без кода упрощает процесс управления данными о событиях в Fabric.

Снимок экрана: источники потока событий.

Обработка событий в потоках событий

Интерфейс перетаскивания предлагает простой и удобный метод для создания рабочих процессов данных о событиях. Это включает обработку, преобразование и маршрутизацию без необходимости написания кода. Схема потока данных потока событий обеспечивает четкое визуальное представление пути и структуры данных. Кроме того, среда редактора обработчика событий без кода позволяет просто создавать логику обработки данных событий путем перетаскивания элементов на место.

  • Описание преобразования

При создании потока событий с включенными расширенными возможностями все назначения поддерживают операции преобразования. Без расширенных возможностей преобразования доступны только для назначений Базы данных Lakehouse и KQL, которые обрабатывают обработку событий перед приемом.

  • Фильтр. Используйте преобразование фильтра для фильтрации событий на основе значения поля во входных данных. В зависимости от типа данных (число или текст), преобразование сохраняет значения, соответствующие выбранному условию, например null или is not null.
  • Управление полями. Это преобразование позволяет добавлять, удалять, изменять тип данных или переименовать поля, поступающие из входных или других преобразований.
  • Агрегат. Используйте преобразование "Агрегат" для вычисления агрегата (суммы, минимального, максимального или среднего) каждый раз, когда новое событие происходит за период времени. Эта операция также позволяет переименовать эти вычисляемые столбцы и отфильтровать или срезы агрегирования на основе других измерений в данных. В одном или нескольких агрегатах можно выполнить одно или несколько агрегатов.
  • Группа по: используйте группу путем преобразования для вычисления агрегатов во всех событиях в течение определенного периода времени. Вы можете выполнять группирование по значениям в одном или нескольких полях. Это похоже на преобразование "Агрегат" позволяет переименовать столбцы, но предоставляет дополнительные возможности агрегирования и включает более сложные параметры для временных окон. Например, агрегат можно добавить несколько агрегатов для каждого преобразования.
  • Объединение. Используйте преобразование Union для подключения двух или нескольких узлов и добавления событий с общими полями (с одинаковым именем и типом данных) в одну таблицу. Поля, которые не соответствуют, удаляются и не включаются в выходные данные.
  • Развернуть: используйте это преобразование массива для создания новой строки для каждого значения в массиве.
  • Присоединение: это преобразование для объединения данных из двух потоков на основе соответствующего условия между ними.

Стандартные расположения назначения

Мы видим, что, не выбирая расширенные возможности, наши назначения ограничены.

Назначение Description
Пользовательское приложение Благодаря этой функции вы можете легко направлять трафик событий в режиме реального времени в приложение bespoke. Она обеспечивает интеграцию собственных приложений с потоком событий, что позволяет немедленно использовать данные о событиях. Эта функция выгодна при передаче данных в режиме реального времени независимой системе, не размещенной в Microsoft Fabric.
Lakehouse Это назначение позволяет предварительно обработать события в режиме реального времени до их приема в lakehouse. События преобразуются в формат Delta Lake, а затем хранятся в определенных таблицах lakehouse, упрощая потребности хранения данных. Подробные инструкции по использованию обработчика событий для обработки данных в режиме реального времени см. в разделе "Обработка данных события с редактором обработчика событий".
База данных KQL Это назначение предоставляет возможность воронки данных событий в режиме реального времени в базу данных KQL, предоставляя вам возможность использовать надежные язык запросов Kusto (KQL) для допроса и анализа данных. Хранение данных в базе данных KQL разблокирует потенциал для расширенного понимания данных о событиях и создания комплексных отчетов и панелей мониторинга. Вы можете выбрать один из двух подходов приема данных: прямой прием или предварительная обработка событий перед приемом.
Рефлекс Это назначение упрощает прямую компоновку данных событий в режиме реального времени с рефлектором. Рефлектор — это интеллектуальная сущность, оснащенная всеми необходимыми сведениями для установления подключений к данным, отслеживания конкретных условий и выполнения действий. При выполнении определенных стандартных критериев или выявления определенных шаблонов данные о событиях автоматически инициирует подходящие ответы, такие как уведомление пользователей или активация рабочих процессов Power Automate.

Расширенные расположения назначения

При выборе расширенных возможностей вы можете использовать стандартные назначения вместе с производным потоком.

Назначение Description
Производный поток Производный поток — это специализированное назначение, созданное после применения операций потока, таких как фильтрация или управление полями в поток событий. Он представляет измененный поток по умолчанию после обработки, который можно перенаправить в различные назначения в Fabric и отслеживать в концентраторе реального времени.

Теперь вы можете подключиться к нескольким назначениям в потоке событий одновременно, не затрагивая или сталкиваясь друг с другом.

Снимок экрана: одновременные потоки событий.