将 Azure Cosmos DB CDC 源添加到事件流

本文介绍如何向 eventstream 添加 Azure Cosmos DB (Azure Cosmos DB for NoSQL) 变更数据捕获源。

通过使用 Microsoft Fabric 事件流的 Azure Cosmos DB 变更数据捕获 (CDC) 源连接器,你可以捕获 Azure Cosmos DB 数据库中当前数据的快照。 然后,连接器将监视并记录对此数据进行的任何未来的行级别更改。 在事件流中捕获更改后,可以实时处理此 CDC 数据,并将其发送到 Fabric 内的不同目标,以进一步处理或分析。

注意

工作区容量的以下区域不支持此源:美国西部 3瑞士西部

先决条件

  • 使用“参与者”权限或更高权限在 Fabric 容量许可证模式(或)试用许可证模式下访问工作区。
  • 访问 Azure Cosmos DB for NoSQL 帐户和数据库。
  • Azure Cosmos DB for NoSQL 数据库必须可供公开访问,并且不能位于防火墙后面或在虚拟网络中受到保护。
  • 如果没有事件流,请创建一个事件流

从 Azure 门户获取连接详细信息

以下步骤显示了需要从 Azure 门户收集的项的标签。 始终需要 https://<account>.<api>.azure.com:<port>/ 之类格式的终结点 URI、主密钥,以及要为其收集数据的数据库名称和项目 ID。

注意

Azure Cosmos DB for NoSQL CDC 使用 Azure Cosmos DB 更改源最新版本模式。 它捕获最新版本中对记录的更改。 请注意,此模式不会捕获删除操作。

  1. 在 Azure Cosmos DB 帐户的 Azure 门户页上,选择左侧导航中的“设置”下的“密钥”

  2. 在“密钥”页上,复制 URI主密钥值以用于设置事件流连接。

    Azure 门户的“Azure Cosmos DB 密钥”页上 URI 和主密钥的屏幕截图。

  3. 在 Azure Cosmos DB 帐户的 Azure 门户“概述”页上,记下要为其收集数据的数据库和项目 ID

    Azure Cosmos DB NoSQL API 帐户的容器列表的屏幕截图。

注意

一个事件流的源和目标的最大数量为 11

将 Azure Cosmos DB (CDC) 添加为源

如果尚未向事件流添加任何源,请选择“使用外部源”磁贴

显示选择“使用外部源”磁贴的屏幕截图。

如果要向已发布的事件流添加源,请切换到“编辑”模式,在功能区中选择“添加源”,然后选择“外部源”

显示选择“添加源”然后选择“外部源”菜单的屏幕截图。

在“选择数据源”页面上,搜索并选择“Azure 事件中心”磁贴上的“连接”

显示在“选择数据源”向导中选择 Azure Cosmos DB (CDC) 作为源类型的屏幕截图。

配置和连接到 Azure Cosmos DB (CDC)

  1. 在“连接”屏幕上的“连接”下,选择“新建连接”以创建链接到 Azure Cosmos DB 数据库的云连接。

    显示“连接”页的屏幕截图,该页面中选择了“新建连接”链接。

  2. 在“连接设置”屏幕上,输入以下信息:

    • Cosmos DB 终结点:输入从 Azure 门户复制的 Cosmos DB 帐户的 URI 或终结点。
    • 连接名称:自动生成,你也可以为此连接输入新名称。
    • 帐户密钥:输入从 Azure 门户复制的 Azure Cosmos DB 帐户的主密钥。

    Azure Cosmos DB CDC 源的连接设置的屏幕截图。

  3. 选择“连接” 。

  4. 为 Azure Cosmos DB 资源提供以下信息,然后选择“下一步”

    • 容器 ID:输入要连接到的 Azure Cosmos DB 容器或表的名称。

    • 数据库:输入 Azure Cosmos DB 数据库的名称。

    • 偏移策略:如果没有提交,请选择是开始读取最早偏移还是最新偏移。

      还可以通过选择“铅笔”按钮在右侧的“流详细信息”部分更改“源名称”

      Azure Cosmos DB CDC 源的连接详细信息的屏幕截图。

  5. 在“查看 + 连接”页上,查看摘要,然后选择“添加”

    显示 Azure Cosmos DB CDC 源的“查看 + 连接”页的屏幕截图。

查看更新的事件流

  1. 你会看到在编辑模式下添加到事件流的 Azure Cosmos DB (CDC) 源。 选择“发布”以发布更改并开始将 Azure Cosmos DB CDC 数据流式传输到事件流。

    “编辑”模式下添加的 Azure Cosmos DB CDC 源的屏幕截图,其中高亮显示了“发布”按钮。

  2. 你将在实时模式下看到事件流。 在功能区上选择“编辑”,返回到编辑模式以更新事件流

    在实时视图中包含 Azure Cosmos DB 源的已发布事件流的屏幕截图。

其他连接器: