通过

在实时中心添加 MySQL 数据库 CDC 作为源

  • 项目

本文介绍如何在 Fabric 实时中心中添加 MySQL 数据库变更数据捕获 (CDC) 作为事件源。

通过 Azure MySQL Database 变更数据捕获 (CDC) 连接器，你可以捕获 Azure MySQL Database 中当前数据的快照。 你可以指定要监视的表，并在对表进行任何后续行级别更改时收到警报。 在流中捕获更改后，可以实时处理此 CDC 数据，并将其发送到 Fabric 内的不同目的地，以进一步处理或分析。

先决条件

  • 使用“参与者”权限或更高权限在 Fabric 容量许可证模式（或）试用许可证模式下访问工作区。
  • 创建 Azure Database for MySQL – 灵活服务器的实例。

设置 MySQL 数据库

Azure MySQL Database 连接器使用 Debezium MySQL 连接器来捕获 MySQL Database 中的更改。 必须定义一个 MySQL 用户，该用户对连接器监视的所有数据库都具有权限。 有关分步说明，请参阅设置 MySQL 数据库 (DB)。

启用 binlog

必须为 MySQL 复制启用二进制日志记录。 二进制日志将记录复制工具的事务更新，以传播更改。 例如，Azure Database for MySQL。

  1. 在 Azure 门户中，导航到 Azure MySQL Database。

  2. 在左侧导航菜单上，选择“服务器参数”。

  3. 使用以下属性配置 MySQL 服务器。

    • binlog_row_image：将值设置为“完整”。
    • binlog_expire_logs_seconds：自动删除 binlog 文件的秒数。 设置值以符合环境的需求。 例如，86400。

    显示 Azure MySQL Database 的“服务器参数”页的屏幕截图。

从 Azure MySQL Database (CDC) 获取事件

可以通过以下方法之一将事件从 Azure MySQL Database CDC 获取到实时中心：

数据源页面

  1. 登录 Microsoft Fabric。

  2. 选择左侧导航栏上的“实时”。

  3. 在“实时中心”页上，选择左侧导航菜单上“连接到”下的“+ 数据源”。 还可以从“所有数据流”或“我的数据流”页面访问“数据源”页，方法是选择右上角的“+ 连接数据源”按钮。

    显示如何启动“连接到数据源体验”的屏幕截图。

  1. 在“数据源”页上，在顶部选择“数据库 CDC”类别，然后在“MySQL DB (CDC)”磁贴上选择“连接”。

    显示在“数据源”页上选择 MySQL DB (CDC) 的屏幕截图。

    使用“添加 Azure MySQL Database CDC 作为源”部分中的说明。

“Microsoft 源”页

  1. 在实时中心，选择“Microsoft 源”。

  2. 在“源”下拉列表中，选择 "Azure MySQL DB (CDC)"。

  3. 对于“订阅”，选择具有 Azure MySQL Database 帐户的资源组的“Azure 订阅”。

  4. 对于“资源组”，选择具有数据库的资源组。

  5. 对于“区域”，选择数据库所在的位置。

  6. 现在，将鼠标移在要连接到数据库列表中的实时中心的 Azure MySQL DB CDC 源的名称上，并选择“连接”按钮，或选择 "..."（省略号），然后选择“连接”按钮。

    显示“Microsoft 源”页的屏幕截图，其中包含用于显示 Azure MySQL CDC 和连接按钮的筛选器。

    要配置连接信息，请使用“添加 Azure MySQL DB CDC 作为源”部分中的步骤。

添加 Azure MySQL Database CDC 作为源

  1. 在“连接”页上，选择“新建连接”。

    显示“添加源”向导的“连接”页的屏幕截图，其中突出显示了“新建连接”链接**。

  2. 在“连接设置”部分中，执行以下步骤：

    1. 对于“服务器”，输入 Azure MySQL 服务器的 URI。

    2. 对于“数据库”，输入数据库名称。

      显示“连接设置”部分的屏幕截图。

  3. 在“连接凭据”部分中，执行以下步骤：

    1. 对于“连接”，选择是否具有与 MySQL 数据库的现有连接。 如果没有，请保留默认值：“创建新连接”。

    2. 对于“身份验证类型”，选择“基本”。 目前，仅支持“基本”身份验证。

    3. 输入“用户名”和“密码”的值。

    4. 指定是否要使用加密连接。

    5. 选择“连接” 。

      显示“连接凭据”部分的屏幕截图。

  4. 返回到“连接”页上，执行以下步骤：

    1. 输入表名称。
    2. 输入服务器 ID。
    3. 输入端口号，或保留默认值。

  5. 在右侧的“流详细信息”部分中，执行以下步骤：

    1. 选择要在其中保存此连接和向导创建的事件流的 Fabric 工作区。

    2. 输入事件流的名称。

    3. 系统将自动为你创建实时中心中的流名称。

      显示“连接”页的屏幕截图，其中指定了所有必填字段。

  6. 现在，选择页面底部的“下一步”。

  7. 在“查看 + 连接”上，查看设置，然后选择“创建源”。

    显示“查看 + 连接”页的屏幕截图，该页面中指定了所有必填字段。

  8. 在“连接”页上，选择“转到资源”以导航到 Azure PostgreSQL 数据库。 在“概述”页上，记下服务器名称。 其格式如下：mysqlserver.mysql.database.azure.com。

    显示“连接”页的屏幕截图，其中突出显示了“转到资源”链接。

查看数据流详细信息

  1. 在“查看 + 连接”页上，如果选择“打开事件流”，向导会打开它为你创建的事件流，并将选定的 Azure MySQL DB CDC 作为源。 若要关闭向导，请在页面右上角选择“完成”或“X”*。

    显示成功创建源后“查看 + 连接”页的屏幕截图。

  2. 在“实时中心”选择“我的数据流”。 若要查看新的数据流，请刷新页面。

    显示实时中心“我的数据流”页的屏幕截图，该页面包含基于 MySQL 数据库 CDC 源的流。

    有关详细步骤，请参阅在 Fabric 实时中心查看数据流的详细信息。

相关内容

若要了解有关使用数据流的信息，请参阅以下文章：