通过

将 Confluent Kafka 源添加到事件流

  • 项目

本文演示如何将 Confluent Kafka 源添加到事件流。

Confluent Cloud Kafka 是一个流式处理平台，该平台使用 Apache Kafka 提供强大的数据流式处理和处理功能。 通过将 Confluent Cloud Kafka 作为事件流中的源集成，可以在将实时数据流路由到 Fabric 中的多个目标之前对其进行无缝处理。

注意

工作区容量的以下区域不支持此源：美国西部 3、瑞士西部。

先决条件

  • 使用参与者或更高权限在 Fabric 容量许可证模式（或）试用许可证模式下访问工作区。
  • Confluent Cloud Kafka 群集和 API 密钥。
  • Confluent Cloud Kafka 群集必须可公开访问，并且不能位于防火墙后或在虚拟网络中受到保护。
  • 如果没有事件流，请创建一个事件流。

启动“选择数据源”向导

如果尚未向事件流添加任何源，请选择“使用外部源”磁贴。

显示选择“使用外部源”磁贴的屏幕截图。

如果要向已发布的事件流添加源，请切换到“编辑”模式，在功能区中选择“添加源”，然后选择“外部源”。

显示选择“将源添加到外部源”菜单的屏幕截图。  

配置并连接到 Confluent Kafka

  1. 在“选择数据源”页上，选择 "Confluent"。

    显示在“获取事件”向导中选择 Confluent 作为源类型的屏幕截图。

  2. 要创建与 Confluent Cloud Kafka 源的连接，请选择“新建连接”。

    显示在“获取事件”向导的“连接”页上选择“新建连接”链接的屏幕截图。

  3. 在“连接设置”部分中，输入“Confluent 启动服务器”。 导航到 Confluent Cloud 主页，选择“群集设置”，并将地址复制到启动服务器。

  4. 在“连接凭据”部分中，如果你具有与 Confluent 群集的现有连接，请从下拉列表中选择它进行“连接”。 否则，请执行以下步骤：

    1. 对于“连接名称”，为连接输入名称。
    2. 对于“身份验证类型”，确认已选择“Confluent Cloud 密钥”。
    3. 对于“API 密钥”和“API 密钥机密”：

      1. 导航到 Confluent Cloud。

      2. 在侧菜单中选择“API 密钥”。

      3. 选择“添加密钥”按钮以创建新的 API 密钥。

      4. 复制“API 密钥”和“机密”。

      5. 将这些值粘贴到“API 密钥”和“API 密钥机密”字段中。

      6. 选择连接

        显示“Confluent 连接设置”第一页的屏幕截图。

  5. 滚动以查看页面上的“配置 Confluent 数据源”部分。 输入信息以完成 Confluent 数据源的配置。

    1. 对于“主题”，输入 Confluent Cloud 中的主题名称。 可以在 Confluent Cloud 控制台中创建或管理主题。
    2. 对于“使用者组”，输入 Confluent Cloud 的使用者组。 它为你提供了专用的使用者组，用于从 Confluent Cloud 群集获取事件。
    3. 对于“重置自动偏移”设置，选择以下值之一：

      • 最早 – Confluent 群集中最早的可用数据

      • 最新 - 最新可用数据

      • 无 – 不要自动设置偏移量。

        显示“Confluent 连接设置”第二页（“配置 Confluent 数据源”页）的屏幕截图。

  6. 选择下一步。 在“查看并创建”屏幕上，查看摘要，然后选择“添加”。

可以看到 Confluent Cloud Kafka 源已添加到“编辑模式”下画布上的事件流。 若要实现新添加的 Confluent Cloud Kafka 源，请选择功能区上的“发布”。

显示“编辑”视图中 Confluent Kafka 源的屏幕截图。

完成这些步骤后，Confluent Cloud Kafka 源可用于“实时视图”中的可视化效果。

显示实时视图中 Confluent Kafka 源的屏幕截图。

限制

  • 目前不支持使用架构注册表的 JSON 和 Avro 格式的 Confluent Kafka。
  • 目前不支持使用 Confluent 架构注册表从 Confluent Kafka 解码数据。

注意

一个事件流的源和目标的最大数量为 11。

相关内容

其他连接器：