在事件流中添加和管理事件源

创建事件流后,可以将其连接到各种数据源和目标。

注意

现在,创建事件流时,将会默认启用增强功能。 如果你有使用标准功能创建的事件流,则这些事件流将继续正常工作。 你仍然可以像往常一样编辑和使用它们。 建议创建新的事件流来替换标准事件流,以便可以利用增强型事件流的其他功能和优势。

创建事件流后,可以将其连接到各种数据源和目标。

事件流不仅允许从 Microsoft 源流式传输数据,还支持通过新的消息传送连接器从第三方平台(如 Google Cloud 和 Amazon Kinesis)引入数据。 这种扩展的功能提供外部数据流与 Fabric 的无缝集成,带来更大的灵活性,使你能够从多个源获取实时见解。

在本文中,你将了解可添加到事件流的事件源。

先决条件

  • 使用“参与者”权限或更高权限在 Fabric 容量许可证模式(或)试用许可证模式下访问工作区。
  • 特定于以下源特定文章中记录的每个源的先决条件。

支持的源

具有增强功能的 Fabric 事件流支持以下源。 每篇文章都提供了添加特定源的详细信息和说明。

来源 说明
Azure 事件中心 如果你有 Azure 事件中心,可以使用 Eventstream 将事件中心数据引入 Microsoft Fabric。
Azure IoT 中心 如果你有 Azure IoT 中心,可以使用 Eventstream 将 IoT 数据引入 Microsoft Fabric。
Azure SQL 数据库变更数据捕获 (CDC) 通过使用 Azure SQL 数据库 CDC 源连接器,你可以捕获 Azure SQL 数据库中当前数据的快照。 然后,连接器将监视并记录对此数据进行的任何未来的行级别更改。
PostgreSQL 数据库 CDC 通过使用 Postgre SQL 数据库变更数据捕获 (CDC) 源连接器,你可以捕获 PostgreSQL 数据库中当前数据的快照。 然后,连接器将监视并记录对此数据进行的任何未来的行级别更改。
MySQL 数据库 CDC 通过使用 Azure MySQL Database 变更数据捕获 (CDC) 源连接器,你可以捕获 Azure Database for MySQL 数据库中当前数据的快照。 你可以指定要监视的表,事件流将记录对表进行的任何未来的行级更改。
Azure Cosmos DB CDC 通过使用 Microsoft Fabric 事件流的 Azure Cosmos DB 变更数据捕获 (CDC) 源连接器,你可以捕获 Azure Cosmos DB 数据库中当前数据的快照。 然后,连接器将监视并记录对此数据进行的任何未来的行级别更改。
虚拟机 (VM) 上的 SQL Server 数据库 (DB) CDC Fabric 事件流的 VM DB 上的 SQL Server (CDC) 源连接器可支持捕获VM 上的 SQL Server 数据库中当前数据的快照。 然后,连接器将监视并记录对此数据进行的任何未来的行级别更改。
Azure SQL 托管实例 CDC 通过用于 Microsoft Fabric 事件流的 Azure SQL 托管实例 CDC 源连接器,你可以捕获 SQL 托管实例数据库中当前数据的快照。 然后,连接器将监视并记录对此数据进行的任何未来的行级别更改。
Google Cloud Pub/Sub Google Pub/Sub 是一种消息传递服务,可用于发布和订阅事件流。 你可以将 Google Pub/Sub 作为源添加到事件流,以捕获、转换实时事件并将其路由到 Fabric 中的各种目标。
Amazon Kinesis 数据流 Amazon Kinesis 数据流是一种可大规模伸缩、高度持久的数据引入和处理服务,针对流式传输数据进行了优化。 通过将 Amazon Kinesis 数据流作为事件流中的源集成,可以在将实时数据流路由到 Fabric 中的多个目标之前对其进行无缝处理。
Confluent Cloud Kafka Confluent Cloud Kafka 是一个流式处理平台,该平台使用 Apache Kafka 提供强大的数据流式处理和处理功能。 通过将 Confluent Cloud Kafka 作为事件流中的源集成,可以在将实时数据流路由到 Fabric 中的多个目标之前对其进行无缝处理。
Amazon MSK Kafka Amazon MSK Kafka 是一种完全托管的 Kafka 服务,可简化设置、缩放和管理。 通过将 Amazon MSK Kafka 作为事件流中的源集成,可以从 MSK Kafka 无缝引入实时事件,并在路由到 Fabric 中的多个目标之前对其进行处理。 
示例数据 可以选择“自行车”“黄色出租车”或“股票市场事件”作为示例数据源,以在设置事件流时测试数据引入。
自定义终结点(即标准功能的自定义应用) 自定义终结点功能让你的应用程序或 Kafka 客户端可以使用连接字符串连接到 Eventstream,从而顺利地将流数据引入到 Eventstream 中。
Azure 服务总线(预览版) 可以使用 Eventstream 将数据从 Azure 服务总线队列或主题的订阅引入到 Microsoft Fabric 中。
Apache Kafka(预览版) Apache Kafka 是一个开源分布式平台,用于构建可缩放的实时数据系统。 通过将 Apache Kafka 作为事件流中的源集成,可以从 Apache Kafka 无缝引入实时事件,并在路由到 Fabric 中的多个目标之前对其进行处理。
Azure Blob 存储事件(预览版) 当客户端创建、替换或删除 Blob 时,将触发 Azure Blob 存储事件。 连接器允许你将 Blob 存储事件链接到实时中心的 Fabric 事件。 你可以将这些事件转换为连续数据流,并在将其路由到 Fabric 中的各种目标之前对其进行转换。
Fabric 工作区项事件(预览版) Fabric 工作区项事件是对 Fabric 工作区进行更改时发生的离散 Fabric 事件。 这些更改包括创建、更新或删除 Fabric 项。 使用 Fabric 事件流,可以捕获这些 Fabric 工作区事件,转换这些事件,并将其路由到 Fabric 中的各种目标,以作进一步分析。

注意

一个事件流的源和目标的最大数量为 11

先决条件

开始之前,你必须满足以下先决条件:

  • 使用“参与者”权限或更高权限在 Fabric 容量许可证模式(或)试用许可证模式下访问工作区。
  • 要将 Azure 事件中心或 Azure IoT 中心添加为事件流源,你需要具有访问其策略密钥的相应权限。 它们必须可供公开访问,并且不能位于防火墙后面或在虚拟网络中受到保护。

支持的源

Fabric 事件流支持以下源。 使用表中的链接导航到相关文章,了解有关添加特定源的更多详细信息。

来源 说明
Azure 事件中心 如果你有 Azure 事件中心,可以使用 Eventstream 将事件中心数据引入 Microsoft Fabric。
Azure IoT 中心 如果你有 Azure IoT 中心,可以使用 Eventstream 将 IoT 数据引入 Microsoft Fabric。
示例数据 可以选择“自行车”“黄色出租车”或“股票市场事件”作为示例数据源,以在设置事件流时测试数据引入。
自定义应用 自定义应用功能让你的应用程序或 Kafka 客户端可以使用连接字符串连接到 Eventstream,从而顺利地将流数据引入到 Eventstream 中。

注意

一个事件流的源和目标的最大数量为 11

管理源

  • 编辑/删除:可通过导航窗格或画布,选择要编辑或移除的事件流源。 选择“编辑”时,会在主编辑器的右侧打开编辑窗格。

    显示源修改和删除的屏幕截图。

  • 为自定义应用重新生成密钥:如果要为应用程序重新生成新的连接密钥,请在画布上选择一个自定义应用源,然后选择“重新生成”来获取新的连接密钥。

    显示如何重新生成密钥的屏幕截图。