你当前正在访问 Microsoft Azure Global Edition 技术文档网站。 如果需要访问由世纪互联运营的 Microsoft Azure 中国技术文档网站,请访问 https://docs.azure.cn

使用流分析无代码编辑器筛选和引入到 Azure 数据资源管理器

本文介绍如何使用无代码编辑器轻松创建流分析作业。 它不断从事件中心读取数据,筛选传入数据,然后将结果持续写入到 Azure 数据资源管理器。

先决条件

  • Azure 事件中心和 Azure 数据资源管理器资源必须可公开访问,并且不能位于防火墙之后或在 Azure 虚拟网络安全保护之中
  • 事件中心中的数据必须以 JSON、CSV 或 Avro 格式进行序列化。

开发流分析作业以筛选和引入实时数据

  1. Azure 门户中,找到并选择 Azure 事件中心实例。

  2. 选择“功能”>“处理数据”,然后在“筛选数据并将其存储到 Azure 数据资源管理器”卡上选择“开始”。

    显示“筛选并引入到 Azure Data Lake Storage Gen2”卡片的屏幕截图,其中选择了“启动”。

  3. 输入流分析作业的名称,然后选择“创建”。

    显示在何处输入作业名称的屏幕截图。

  4. 指定事件中心窗口中数据的“序列化类型”和作业将用于连接到事件中心的“身份验证方法”。 然后选择“连接” 。
    显示事件中心连接配置的屏幕截图。

  5. 成功建立连接并且数据流流入事件中心实例后,你将立即看到两项内容:

    • 输入数据中存在的字段。 可以选择“添加字段”,也可以选择字段旁边的三个点符号来删除、重命名或更改其类型。
      屏幕截图显示事件中心字段列表,可在其中移除、重命名或更改字段类型。
    • 图表视图下的“数据预览”表中的传入数据的实时示例。 它会定期自动刷新。 可以选择“暂停流式预览”以查看示例输入数据的静态视图。
      显示“数据预览”下的示例数据的屏幕截图。
  6. 选择“筛选”磁贴以聚合数据。 在“筛选器”区域中,选择一个字段来按条件筛选传入数据。

    显示筛选运算符配置的屏幕截图。

  7. 选择“管理”磁贴。 在“管理字段”配置面板中,选择要输出到事件中心的字段。 如果要添加所有字段,请选择“添加所有字段”。

    显示管理字段操作员配置的屏幕截图。

  8. 选择“Azure 数据资源管理器”磁贴。 在配置面板中,填写所需的参数并进行连接。

    注意

    表必须存在于所选数据库中,表架构必须与数据预览生成的字段数及其类型完全匹配。

    显示 Kusto 输出配置的屏幕截图。

  9. 也可以选择“获取静态预览/刷新静态预览”,以查看将在事件中心中引入的数据预览。
    屏幕截图显示“获取静态预览/刷新静态预览”选项。

  10. 选择“保存”,然后选择“启动”以启动流分析作业。
    屏幕截图显示“保存”和“启动”选项。

  11. 要开始作业,请指定以下内容:

    • 作业运行时使用的“流单元 (SU)”数量。 SU 表示分配给作业的计算和内存量。 建议先选用 3,然后根据需要进行调整。
    • 输出数据错误处理 - 它允许指定作业因数据错误而无法输出到目标时所需的行为。 默认情况下,作业会重试,直到写入操作成功。 你也可以选择删除此类输出事件。
      显示“启动流分析作业”选项的屏幕截图,可在其中更改输出时间、设置流单元数,然后选择“输出数据错误处理”选项。
  12. 选择“开始”后,作业将在两分钟内开始运行,指标将在下面的选项卡部分打开。

    显示启动后作业指标数据的屏幕截图。

    还可以在“流分析作业”选项卡的“处理数据”部分下查看作业。根据需要选择“打开指标”来监控它,或者停止并重新启动它。

    “流分析作业”选项卡的屏幕截图,可在其中查看正在运行的作业状态。

使用事件中心的异地复制功能时的注意事项

Azure 事件中心最近在公共预览版中推出了异地复制功能。 此功能与 Azure 事件中心的异地灾难恢复功能不同。

当故障转移类型为“强制”且复制一致性为“异步”时,流分析作业无法保证只将数据输出到 Azure 事件中心一次

Azure 流分析作为使用事件中心作为输出的生产者,可能会在故障转移期间以及当主服务器和辅助服务器之间的复制延迟达到配置的最大延迟时在事件中心进行限制期间观察到作业上的水印延迟

Azure 流分析作为使用事件中心作为输入的使用者,可能会在故障转移期间观察到作业上的水印延迟,并且可能会在故障转移完成后跳过数据或找到重复的数据

考虑到这些注意事项,我们建议你在事件中心故障转移完成后立即在适当的开始时间重启流分析作业。 此外,由于事件中心异地复制功能为公共预览版,因此我们目前不建议将此模式用于生产性流分析作业。 在事件中心异地复制功能正式发布并可用于流分析生产作业之前,当前的流分析行为会得到改进。

后续步骤

详细了解 Azure 流分析以及如何监视已创建的作业。