你当前正在访问 Microsoft Azure Global Edition 技术文档网站。 如果需要访问由世纪互联运营的 Microsoft Azure 中国技术文档网站,请访问 https://docs.azure.cn。
使用流分析无代码编辑器筛选和引入到 Azure Synapse SQL
本文介绍如何使用无代码编辑器轻松创建流分析作业。 它不断从事件中心读取数据,筛选传入数据,然后将结果连续写入 Synapse SQL 表。
先决条件
- Azure 事件中心资源必须可公开访问,并且不能位于防火墙后面或在 Azure 虚拟网络中受到保护。
- 事件中心中的数据必须以 JSON、CSV 或 Avro 格式进行序列化。
开发流分析作业以筛选和引入数据
使用以下步骤开发流分析作业以筛选实时数据并引入到 Synapse SQL 表。
在 Azure 门户中,找到并选择 Azure 事件中心实例。
成功建立连接并且数据流流入事件中心实例后,你将立即看到两项内容:
选择 Synapse SQL 表以发送筛选后的数据:
注意
表架构必须与数据预览生成的字段数量及其类型完全匹配。
要开始作业,请指定以下内容:
选择“启动”后,作业将在两分钟内开始运行,并且指标将在下面的选项卡部分打开。
还可以在“流分析作业”选项卡的“处理数据”部分下查看作业。根据需要选择“打开指标”来监视它,或者停止再重启它。
使用事件中心的异地复制功能时的注意事项
Azure 事件中心最近在公共预览版中推出了异地复制功能。 此功能与 Azure 事件中心的异地灾难恢复功能不同。
当故障转移类型为“强制”且复制一致性为“异步”时,流分析作业无法保证只将数据输出到 Azure 事件中心一次。
Azure 流分析作为使用事件中心作为输出的生产者,可能会在故障转移期间以及当主服务器和辅助服务器之间的复制延迟达到配置的最大延迟时在事件中心进行限制期间观察到作业上的水印延迟。
Azure 流分析作为使用事件中心作为输入的使用者,可能会在故障转移期间观察到作业上的水印延迟,并且可能会在故障转移完成后跳过数据或找到重复的数据。
考虑到这些注意事项,我们建议你在事件中心故障转移完成后立即在适当的开始时间重启流分析作业。 此外,由于事件中心异地复制功能为公共预览版,因此我们目前不建议将此模式用于生产性流分析作业。 在事件中心异地复制功能正式发布并可用于流分析生产作业之前,当前的流分析行为会得到改进。
后续步骤
详细了解 Azure 流分析以及如何监视已创建的作业。