Маршрутизация потоков данных на основе содержимого в потоках событий Fabric
В этой статье показано, как маршрутизировать события на основе содержимого в потоках событий Microsoft Fabric.
Теперь вы можете использовать редактор без кода в потоке событий Fabric основной холст для создания сложной логики потоковой обработки без написания кода. Эта функция позволяет упростить настройку, преобразование и управление потоками данных. После настройки операций обработки потоков вы можете плавно отправлять потоки данных в разные места назначения в соответствии с конкретной схемой и данными потока.
Поддерживаемые операции
Ниже приведен список операций, поддерживаемых для обработки данных в режиме реального времени:
Агрегат: поддержка функций SUM, AVG, MIN и MAX, выполняющих вычисления в столбце значений, возвращая один результат.
Разверните значение массива и создайте новую строку для каждого значения в массиве.
Фильтр. Выбор или фильтрация определенных строк из потока данных на основе условия.
Группа по: агрегирование всех данных событий в течение определенного периода времени с параметром группировки одного или нескольких столбцов.
Управление полями: добавление, удаление или изменение типа данных поля или столбца потоков данных.
Объединение. Подключение двух или нескольких потоков данных с общими полями одного и того же имени и типа данных в один поток данных. Поля, которые не соответствуют, удаляются.
Присоединение: объединение данных из двух потоков на основе соответствующего условия между ними.
Поддерживаемые назначения
Поддерживаемые назначения:
Lakehouse: это место назначения обеспечивает возможность преобразования событий в реальном времени перед их загрузкой в озерохранилище. События в режиме реального времени преобразуются в формат Delta Lake, а затем хранятся в назначенных таблицах lakehouse. Это назначение помогает с сценариями хранения данных.
Eventhouse: Эта точка назначения позволяет переносить ваши данные событий в реальном времени в Eventhouse, где можно использовать мощный язык запросов Kusto (KQL) для их запроса или анализа. С помощью данных в Eventhouse вы можете получить более подробную информацию о данных о событиях и создать богатые отчеты и панели мониторинга.
Активация Fabric. Это назначение позволяет напрямую подключать данные событий в режиме реального времени к активатору Fabric. Активатор — это тип интеллектуального агента, который содержит всю информацию, необходимую для подключения к данным, отслеживанию условий и действиям. Когда данные достигают определенных пороговых значений или соответствуют другим шаблонам, активатор автоматически принимает соответствующие действия, такие как оповещение пользователей или запуск рабочих процессов Power Automate.
Пользовательская конечная точка (прежнее пользовательское приложение): с помощью этого назначения можно легко направлять события в режиме реального времени в пользовательское приложение. Это назначение позволяет подключать собственные приложения к потоку событий и использовать данные событий в режиме реального времени. Полезно, если вы хотите исходящие данные в режиме реального времени во внешнюю систему за пределами Microsoft Fabric.
Stream: это назначение представляет необработанный поток событий по умолчанию, преобразованный рядом операций, также называемый производным потоком. После создания вы можете просмотреть поток из концентратора реального времени.
В следующем примере показано, как три отдельных назначения событий Fabric могут служить отдельным функциям для одного источника потока данных. Одно хранилище событий предназначено для хранения необработанных данных, второе хранилище событий предназначено для хранения отфильтрованные потоки данных, и Lakehouse используется для хранения агрегированных значений.
Чтобы преобразовать и направить поток данных на основе содержимого, выполните действия, описанные в разделе "Изменение и публикация потока событий " и начало разработки логики потоковой обработки для потока данных.