了解数据流
数据流由一系列永久数据组成,通常与特定时间点事件相关。 例如,数据流可能包含提交给社交媒体微博网站的消息的详细信息,或包含由连接 Internet 的天气传感器记录的一系列环境测量值。 流数据分析最常用于更好地了解随时间的变化。 例如,营销组织可能会对社交媒体消息进行情绪分析,以查看广告活动是否会导致对公司或其产品的更积极评价,或者农业企业可能会监视温度和降雨趋势以优化灌溉和作物收割。
流分析的共同目标包括
- 持续分析数据以报告问题或趋势。
- 了解各种条件下的组件或系统行为,以帮助规划未来的增强功能。
- 发生特定事件或超出阈值时触发特定操作或警报。
流处理解决方案的特征
流处理解决方案通常具有以下特征:
- 源数据流是无边界限制的 - 数据会永久添加到流中。
- 流中的每个数据记录都包含临时(基于时间)数据,指示与记录相关的事件何时发生(或被记录)。
- 流数据的聚合是在临时窗口上执行的 - 例如,记录每分钟社交媒体帖子的数量或每小时的平均降雨量。
- 流式数据处理的结果可用于支持实时(或准实时)自动化或可视化,或保存在分析存储中以与其他数据结合以进行历史分析。 许多解决方案结合这些方法来支持实时和历史分析。