解决方案构想
本文介绍了一种解决方案构想。 云架构师可以通过本指南来帮助可视化此体系结构的典型实现的主要组件。 以本文为起点，设计一个符合工作负荷特定要求的架构合理的解决方案。
本文介绍使用 Azure Kubernetes 服务 (AKS) 快速处理和分析来自设备的大量流数据的解决方案。
*Apache®、Apache Kafka 和 Apache Spark 是 美国 和/或其他国家/地区的 Apache Software Foundation 的注册商标或商标。 使用这些标记并不暗示获得 Apache Software Foundation 的认可。 Splunk 是 Cisco 的注册商标。 *
体系结构
下载此体系结构的 Visio 文件。
数据流
- 传感器生成数据并将其流式传输到 Azure API 管理。
- AKS 群集运行部署为服务网格后面的容器的微服务。 容器是使用 DevOps 过程生成的。 容器映像存储在Azure 容器注册表中。
- AKS 中的引入服务将数据存储在 Azure Cosmos DB 中。
- 异步，AKS 中的分析服务接收数据并将其流式传输到 Azure HDInsight 上的 Apache Kafka。
- 数据科学家使用 Azure HDInsights 和 Splunk 平台上的机器学习模型来分析数据。
- AKS 中的处理服务处理数据并将结果存储在 Azure Database for PostgreSQL 中。 该服务还会将数据缓存在 Azure Cache for Redis 中。
- 在 Azure 应用程序服务中运行的 Web 应用创建结果的可视化效果。
组件
该解决方案采用以下关键技术：
- API 管理
- 应用程序服务
- Azure Cache for Redis
- 容器注册表
- Azure Cosmos DB
- Azure Database for PostgreSQL
- HDInsight
- AKS
- Azure Pipelines
方案详细信息
该解决方案非常适合涉及数百万个数据点的方案，其中数据源包括物联网 (IoT) 设备、传感器和车辆。 在这种情况下，处理大量数据是一项挑战。 快速分析数据是另一项艰巨的任务，因为组织寻求深入了解复杂的方案。
AKS 中的容器化微服务构成了解决方案的关键部分。 这些独立服务引入并处理实时数据流。 还可以根据需要进行缩放。 容器的可移植性使得服务可在不同的环境中运行并处理来自多个源的数据。 为了开发和部署微服务，使用了 DevOps 和持续集成/持续交付 (CI/CD)。 这些方法缩短了开发周期。
为了存储引入的数据，该解决方案使用 Azure Cosmos DB。 该数据库可弹性缩放吞吐量和存储，因此非常适合处理大量数据。
该解决方案还使用 Apache Kafka。 这种低延迟流式处理平台以极高的速度处理实时数据馈送。
另一个关键解决方案组件是 Azure HDInsight，它是一种托管云服务，可用于使用最常用的开放源代码框架高效处理大量数据。 Azure HDInsight 简化了在 Azure 中使用 Apache Spark 时以大批量和速度运行大数据框架。 Splunk 有助于数据分析过程。 Splunk 从实时数据创建可视化效果，并提供商业智能。
可能的用例
该解决方案有利于以下领域：
- 车辆安全，尤其是汽车行业
- 零售和其他行业的客户服务
- 医疗保健云解决方案
- 金融行业的金融技术解决方案
后续步骤
产品文档：
- 关于 Azure Cache for Redis
- 什么是 Azure API 管理？
- 应用程序服务概述
- Azure Kubernetes 服务
- Azure 容器注册表简介
- 欢迎使用 Azure Cosmos DB
- 什么是 Azure Database for PostgreSQL？
- 什么是 Azure HDInsight？
- 什么是 Azure Pipelines？
Microsoft 培训模块：
- 使用 Azure 容器注册表生成并存储容器映像
- 配置 Azure 应用程序服务计划
- 使用 Azure Cosmos DB
- 创建并连接到 Azure Database for PostgreSQL
- 针对 Azure Cache for Redis 进行开发
- 探索 API 管理
- Azure HDInsight 简介