你当前正在访问 Microsoft Azure Global Edition 技术文档网站。 如果需要访问由世纪互联运营的 Microsoft Azure 中国技术文档网站,请访问 https://docs.azure.cn

使用流分析无代码编辑器筛选和引入到 Azure Synapse SQL

本文介绍如何使用无代码编辑器轻松创建流分析作业。 它不断从事件中心读取数据,筛选传入数据,然后将结果连续写入 Synapse SQL 表。

先决条件

  • Azure 事件中心资源必须可公开访问,并且不能位于防火墙后面或在 Azure 虚拟网络中受到保护。
  • 事件中心中的数据必须以 JSON、CSV 或 Avro 格式进行序列化。

开发流分析作业以筛选和引入数据

使用以下步骤开发流分析作业以筛选实时数据并引入到 Synapse SQL 表。

  1. 在 Azure 门户中,找到并选择 Azure 事件中心实例。

  2. 选择“功能”>“处理数据”,然后在“筛选并引入到 Synapse SQL”卡上选择“启动”。
    显示处理事件中心数据起始卡的屏幕截图。

  3. 输入用于标识流分析作业的名称,然后选择“创建”。
    显示“新建流分析作业”窗口的屏幕截图,可在该窗口中输入作业名称。

  4. 指定事件中心窗口中数据的“序列化类型”和作业将用于连接到事件中心的“身份验证方法”。 然后选择“连接” 。
    显示事件中心连接配置的屏幕截图。

  5. 成功建立连接并且数据流流入事件中心实例后,你将立即看到两项内容:

    • 输入数据中存在的字段。 可以选择“添加字段”,也可以选择字段旁边的三个点符号来删除、重命名或更改其类型。
      屏幕截图显示事件中心字段列表,可在其中移除、重命名或更改字段类型。
    • 图表视图下的“数据预览”表中的传入数据的实时示例。 它会定期自动刷新。 可以选择“暂停流式预览”以查看示例输入数据的静态视图。
      显示“数据预览”下的示例数据的屏幕截图。
  6. 在“筛选器”区域中,选择一个字段来按条件筛选传入数据。
    屏幕截图显示“筛选”区域,可在其中使用条件筛选传入数据。

  7. 选择 Synapse SQL 表以发送筛选后的数据:

    1. 从下拉菜单中选择“订阅”、“数据库(专用 SQL 池名称)”和“身份验证方法”。
    2. 输入将引入筛选后数据的表的名称。 选择“连接”。
      屏幕截图显示 Synapse SQL 表连接详细信息。

    注意

    表架构必须与数据预览生成的字段数量及其类型完全匹配。

  8. 也可以选择“获取静态预览/刷新静态预览”,以查看将在所选 Synapse SQL 表中引入的数据预览。
    屏幕截图显示“获取静态预览/刷新静态预览”选项。

  9. 选择“保存”,然后选择“启动”以启动流分析作业。
    屏幕截图显示“保存”和“启动”选项。

  10. 要开始作业,请指定以下内容:

    • 作业运行时使用的“流单元 (SU)”数量。 SU 表示分配给作业的计算和内存量。 建议先选用 3,然后根据需要进行调整。
    • 输出数据错误处理 - 它允许指定作业因数据错误而无法输出到目标时所需的行为。 默认情况下,作业会重试,直到写入操作成功。 你也可以选择删除此类输出事件。
      显示“启动流分析作业”选项的屏幕截图,可在其中更改输出时间、设置流单元数,然后选择“输出数据错误处理”选项。
  11. 选择“启动”后,作业将在两分钟内开始运行,并且指标将在下面的选项卡部分打开。

    还可以在“流分析作业”选项卡的“处理数据”部分下查看作业。根据需要选择“打开指标”来监视它,或者停止再重启它。

    “流分析作业”选项卡的屏幕截图,可在其中查看正在运行的作业状态。

使用事件中心的异地复制功能时的注意事项

Azure 事件中心最近在公共预览版中推出了异地复制功能。 此功能与 Azure 事件中心的异地灾难恢复功能不同。

当故障转移类型为“强制”且复制一致性为“异步”时,流分析作业无法保证只将数据输出到 Azure 事件中心一次

Azure 流分析作为使用事件中心作为输出的生产者,可能会在故障转移期间以及当主服务器和辅助服务器之间的复制延迟达到配置的最大延迟时在事件中心进行限制期间观察到作业上的水印延迟

Azure 流分析作为使用事件中心作为输入的使用者,可能会在故障转移期间观察到作业上的水印延迟,并且可能会在故障转移完成后跳过数据或找到重复的数据

考虑到这些注意事项,我们建议你在事件中心故障转移完成后立即在适当的开始时间重启流分析作业。 此外,由于事件中心异地复制功能为公共预览版,因此我们目前不建议将此模式用于生产性流分析作业。 在事件中心异地复制功能正式发布并可用于流分析生产作业之前,当前的流分析行为会得到改进。

后续步骤

详细了解 Azure 流分析以及如何监视已创建的作业。