引入和转换实时数据

已完成

Microsoft Fabric 中的 Eventstream 用于捕获、转换和加载来自各种流数据源的实时数据。 在系统中设置 Eventstream 时,将定义永久运行的数据处理引擎来引入和转换实时数据。 你告知它从何处获取数据、向何处发送数据,以及如何根据需要更改数据。

Microsoft Fabric 中的 Eventstream 的屏幕截图。

Eventstream 的数据源

Microsoft Fabric 中的 Eventstream 支持各种数据源,包括:

  • 外部服务,如 Azure 存储、Azure 事件中心、Azure IoT 中心、Apache Kafka 中心、关系数据库服务中的变更数据捕获 (CDC) 源等。
  • Fabric 事件,例如对 Fabric 工作区中项的更改、OneLake 数据存储中的数据更改以及与 Fabric 作业关联的事件。
  • 示例数据,其中包括可帮助你探索 Microsoft Fabric 中的实时分析场景的一系列示例。

提示

有关支持的源的详细信息,请参阅 Fabric 实时中心支持的源

Eventstream 中的数据转换

你可以在数据于 Eventstream 中流动时对其进行转换,从而能够在存储数据之前对其进行过滤、汇总和重塑。 可用转换包括:

  • 筛选:使用“筛选”转换可以根据输入中的字段值筛选事件。 根据数据类型(数字或文本),转换将保留与所选条件(例如 nullis not null)匹配的值。
  • 管理字段:使用此转换可以添加、删除、更改数据类型,或重命名来自输入或其他转换的字段。
  • 聚合:使用“聚合”转换可以在一段时间内每次发生新事件时计算聚合(总和、最小值、最大值或平均值)。 此操作还允许重命名这些计算列,并根据数据中的其他维度筛选或切片聚合。 在同一转换中可以有一个或多个聚合。
  • 分组依据:使用分组依据转换来计算某个时间窗口内所有事件的聚合。 可以按一个或多个字段中的值进行分组。 就像聚合转换允许重命名列一样,但提供了更多聚合选项,并包含更复杂的时间窗口选项。 与“聚合”类似,你可以为每个转换添加多个聚合。
  • 联合:使用“联合”转换可以连接两个或多个节点,并将具有共享字段(具有相同名称和数据类型)的事件添加到一个表中。 不匹配的字段将被删除,不包含在输出中。
  • 扩展:使用此数组转换可为数组中的每个值创建一个新行。
  • 联接:使用此转换可以根据两个流之间的匹配条件合并这两个流中的数据

提示

有关支持的转换的详细信息,请参阅使用事件处理程序编辑器处理事件数据

Eventstream 中的数据目标

可以将流中的数据加载到以下目标:

  • Eventhouse:通过此目标,可以将实时事件数据引入 Eventhouse,可以使用 Kusto 查询语言 (KQL) 来查询和分析数据。
  • 湖屋:通过此目标,你可以在将实时事件引入湖屋之前转换实时事件。 实时事件会转换为 Delta Lake 格式,然后存储在指定的湖屋表中。
  • 派生流:派生流用于将 Eventstream 的输出重定向到另一个Eventstream。 派生流表示流处理后转换的默认流。
  • Fabric 激活器:通过此目标,可以将实时事件数据直接连接到 Fabric 激活器;它是一种智能代理,可根据流中的值自动执行操作。
  • 自定义终结点:使用此目标,可以将实时事件路由到自定义终结点。 如果要将实时数据定向到外部系统或 Microsoft Fabric 外部的自定义应用程序,此目标非常有用。

提示

有关支持的源的详细信息,请参阅在 Eventstream 中添加和管理目标