了解数据流

已完成

数据流由一系列永久数据组成,通常与特定时间点事件相关。 例如,数据流可能包含提交给社交媒体微博网站的消息的详细信息,或包含由连接 Internet 的天气传感器记录的一系列环境测量值。 流数据分析最常用于更好地了解随时间的变化。 例如,营销组织可能会对社交媒体消息进行情绪分析,以查看广告活动是否会导致对公司或其产品的更积极评价,或者农业企业可能会监视温度和降雨趋势以优化灌溉和作物收割。

流分析的共同目标包括

  • 持续分析数据以报告问题或趋势。
  • 了解各种条件下的组件或系统行为,以帮助规划未来的增强功能。
  • 发生特定事件或超出阈值时触发特定操作或警报。

流处理解决方案的特征

流处理解决方案通常具有以下特征:

显示数据流的关系图,包括正在处理、按天聚合的日期和时间字段,以及可视化和存储的字段。

  1. 源数据流是无边界限制的 - 数据会永久添加到流中。
  2. 流中的每个数据记录都包含临时(基于时间)数据,指示与记录相关的事件何时发生(或被记录)。
  3. 流数据的聚合是在临时窗口上执行的 - 例如,记录每分钟社交媒体帖子的数量或每小时的平均降雨量。
  4. 流式数据处理的结果可用于支持实时(或准实时)自动化或可视化,或保存在分析存储中以与其他数据结合以进行历史分析。 许多解决方案结合这些方法来支持实时和历史分析。