通过

在实时中心添加 Azure Cosmos DB CDC 作为源

  • 项目

本文介绍如何在 Fabric 实时中心中添加 Azure Cosmos DB for NoSQL 变更数据捕获 (CDC) 作为事件源。

使用 Azure Cosmos DB 变更数据捕获 (CDC) 源连接器捕获 Azure Cosmos DB 数据库中当前数据的快照。 然后，连接器将监视并记录对此数据进行的任何未来的行级别更改。 在流中捕获更改后，可以实时处理此 CDC 数据，并将其发送到 Fabric 内的不同目的地，以进一步处理或分析。

先决条件

  • 使用“参与者”权限或更高权限在 Fabric 容量许可证模式（或）试用许可证模式下访问工作区。
  • 访问 Azure Cosmos DB for NoSQL 帐户和数据库。
  • Azure Cosmos DB for NoSQL 数据库必须可供公开访问，并且不能位于防火墙后面或在虚拟网络中受到保护。
  • 如果没有事件流，请创建一个事件流。

从 Azure 门户获取连接详细信息

以下步骤显示了需要从 Azure 门户收集的项的标签。 始终需要 https://<account>.<api>.azure.com:<port>/ 之类格式的终结点 URI、主密钥，以及要为其收集数据的数据库名称和项目 ID。

注意

Azure Cosmos DB for NoSQL CDC 使用 Azure Cosmos DB 更改源的最新版本模式。 它捕获最新版本中对记录的更改。 请注意，此模式不会捕获删除操作。

  1. 在 Azure Cosmos DB 帐户的 Azure 门户页上，选择左侧导航中的“设置”下的“密钥”。

  2. 在“密钥”页上，复制 URI 和主密钥值以用于设置事件流连接。

    Azure 门户的“Azure Cosmos DB 密钥”页上 URI 和主密钥的屏幕截图。

  3. 在 Azure Cosmos DB 帐户的 Azure 门户“概述”页上，记下要为其收集数据的数据库和项目 ID。

    Azure Cosmos DB NoSQL API 帐户的容器列表的屏幕截图。

从 Azure Cosmos DB CDC 获取事件

可以通过以下方法之一将事件从 Azure Cosmos DB CDC 获取到实时中心：

数据源页面

  1. 登录 Microsoft Fabric。

  2. 选择左侧导航栏上的“实时”。

  3. 在“实时中心”页上，选择左侧导航菜单上“连接到”下的“+ 数据源”。 还可以从“所有数据流”或“我的数据流”页面访问“数据源”页，方法是选择右上角的“+ 连接数据源”按钮。

    显示如何启动“连接到数据源体验”的屏幕截图。

使用“添加 Azure Cosmos DB CDC 作为源”部分中的说明。

“Microsoft 源”页

  1. 在实时中心，选择“Microsoft 源”。

  2. 在“源”下拉列表中，选择“Azure Cosmos DB (CDC)”。

  3. 对于“订阅”，选择具有 Cosmos DB 帐户的资源组的“Azure 订阅”。

  4. 对于“资源组”，选择具有 CCosmos DB 帐户的资源组。

  5. 对于“区域”，选择 Cosmos DB 所在的位置。

  6. 现在，将鼠标移在要连接到数据库列表中的实时中心的 Cosmos DB CDC 源的名称上，并选择“连接”按钮，或选择 "..."（省略号），然后选择“连接”按钮。

    显示“Microsoft 源”页的屏幕截图，其中包含用于显示 Cosmos DB CDC 和连接按钮的筛选器。

    若要配置连接信息，请使用“添加 Azure Cosmos DB CDC 作为源”部分中的步骤。 跳过第一步 - 在“添加源”向导中选择 Azure Cosmos DB CDC 作为源类型。

将 Azure Cosmos DB CDC 添加为源

  1. 在“连接”页上，选择“新建连接”。

    显示“添加源”向导“连接”页的屏幕截图，其中突出显示了“新建连接”链接****。

  2. 在“连接设置”部分中，指定 Cosmos DB 终结点。 输入从 Azure 门户复制的 Cosmos DB 帐户的 URI 或终结点。

    显示“新建连接”页的“连接设置”部分的屏幕截图。

  3. 展开“高级选项”，然后按照下列步骤操作：

    1. 对于重试次数，指定如果请求因可恢复错误而失败，连接器应向 Cosmos DB 数据库重新发送请求的最大次数。

    2. 对于启用 AVERAGE 函数向下传递，指定连接器是否应将 AVG 聚合函数向下传递到 Cosmos DB 数据库。

    3. 对于启用多列 SORT 向下传递，指定在 SQL 查询的 ORDER BY 子句中指定多列时，连接器是否允许将多列向下传递到 Cosmos DB 数据库。

      显示配置 Azure Cosmos DB 连接器的高级选项的屏幕截图。

  4. 向下滚动，然后在“连接凭据”部分中，执行以下步骤。

    1. 选择现有连接并保留默认的“创建新连接”选项。
    2. 若要创建连接，请输入以下值：

      1. 对于连接名称，输入连接的名称。

      2. 对于身份验证类型，选择“帐户密钥”。

      3. 对于帐户密钥，输入之前保存的密钥值。

      4. 选择“连接”。

        显示“新建连接”页的“连接凭据”部分的屏幕截图。

  5. 现在，在“连接”页上，执行以下步骤：

    1. 指定 Azure Cosmos DB 帐户中容器的容器 ID。

    2. 在右侧的“流详细信息”部分中，选择要保存向导将要创建的事件流的 Fabric 工作区。

    3. 对于“事件流名称”，请输入事件流的名称。 该向导会创建一个事件流，其中所选 Azure Cosmos DB CDC 作为源。

    4. “流名称”是通过将 -stream 追加到事件流的名称中自动为你生成的。 该向导完成后，可以在实时中心的“所有数据流”页上看到此流。

    5. 选择下一步。

      显示“添加源”向导中已填充的“连接”页的屏幕截图。

  6. 在“查看 + 连接”屏幕上，查看摘要，然后选择“创建源”。

    显示“添加源”向导中已填充的“查看 + 连接”页的屏幕截图。

查看数据流详细信息

  1. 在“查看 + 连接”页上，如果选择“打开事件流”，向导会打开它为你创建的事件流，并将选定的 Azure Cosmos DB CDC 作为源。 要关闭向导，请选择页面右上角的“关闭”或 "X"*。

    显示成功创建源后“查看 + 连接”页的屏幕截图。

  2. 在“实时中心”选择“所有数据流”。 若要查看新的数据流，请刷新“所有数据流”页。

    显示“实时中心所有数据流”页的屏幕截图，其中包含刚刚创建的流。

    有关详细步骤，请参阅在 Fabric 实时中心查看数据流的详细信息。

相关内容

若要了解有关使用数据流的信息，请参阅以下文章：