通过

在实时中心将 Amazon Managed Streaming for Apache Kafka (MSK) 添加为源

  • 项目

本文介绍如何在 Fabric 实时中心将 Amazon Streaming for Apache Kafka (MSK) 添加为事件源。

Amazon MSK Kafka 是一种完全托管的 Kafka 服务，可简化设置、缩放和管理。 通过将 Amazon MSK Kafka 作为事件流中的源集成，可以从 MSK Kafka 无缝引入实时事件，并在路由到 Fabric 中的多个目标之前对其进行处理。 

先决条件

  • 使用“参与者”权限或更高权限在 Fabric 容量许可证模式（或）试用许可证模式下访问工作区。
  • 处于活动状态的 Amazon MSK Kafka 群集。
  • Amazon MSK Kafka 群集必须可公开访问，并且不能位于防火墙后或在虚拟网络中受到保护。

数据源页面

  1. 登录 Microsoft Fabric。

  2. 选择左侧导航栏上的“实时”。

  3. 在“实时中心”页上，选择左侧导航菜单上“连接到”下的“+ 数据源”。 还可以从“所有数据流”或“我的数据流”页面访问“数据源”页，方法是选择右上角的“+ 连接数据源”按钮。

    显示如何启动“连接到数据源体验”的屏幕截图。

将 Amazon Managed Streaming for Apache Kafka 添加为源

  1. 在“数据源”页上，选择”Amazon MSK Kafka”。

    显示在“获取事件”向导中选择 Amazon MSK Kafka 作为源类型的屏幕截图。

  2. 在“连接”页上，选择“新建连接”。

    显示在“获取事件”向导的“连接”页上选择“新建连接”链接的屏幕截图。

  3. 在“连接设置”部分中，对于“启动服务器”，输入 Kafka 群集的公共终结点。

    显示在“获取事件”向导的“连接”页面上选择“引导服务器”字段的屏幕截图。

    若要获取公共终结点，请执行以下操作：

    显示 Amazon MSK 群集的公共终结点的屏幕截图。

  4. 在“连接凭据”部分中，如果你已有到 Amazon MSK Kafka 群集的连接，请从“连接”下拉列表中选择它。 否则，请执行以下步骤：

    1. 对于“连接名称”，为连接输入名称。
    2. 对于“身份验证类型”，请确认已选择“API 密钥”。
    3. 对于“密钥”和“机密”，输入 Amazon MSK Kafka 群集的 API 密钥和密钥机密。

  5. 选择“连接” 。 

  6. 现在，在“连接”页上，按照以下步骤操作。

    1. 对于“主题”，输入 Kafka 主题。

    2. 对于“使用者组”，输入 Kafka 群集的使用者组。 此字段提供用于获取事件的专用使用者组。

    3. 选择“重置自动偏移”以指定在没有提交的情况下从何处开始读取偏移。

    4. 对于“安全协议”，默认值是“SASL_SSL”。 默认“SASL 机制”为“SCRAM-SHA-512”，无法更改。

      显示 Amazon MSK Kafka 连接设置的第一页的屏幕截图。

  7. 选择下一步。 在“查看 + 连接”屏幕上，查看摘要，然后选择“连接”。

查看数据流详细信息

  1. 在“查看 + 连接”页上，如果选择“打开事件流”，向导会打开使用选定的 Amazon Managed Streaming for Apache Kafka 源为你创建的事件流。 要关闭向导，请选择页面底部的“关闭”。

  2. 在“实时中心”中，切换到实时中心的“数据流”选项卡。 刷新该页面。 应会看到为你创建的数据流。

    有关详细步骤，请参阅在 Fabric 实时中心查看数据流的详细信息。

相关内容

若要了解有关使用数据流的信息，请参阅以下文章：