使用 Azure 数据资源管理器和 Azure IoT 中心进行 IoT 分析

此解决方案理念描述了 Azure 数据资源管理器如何为来自物联网 (IoT) 设备和传感器的快速流动的大量流式处理数据提供准实时分析。 此分析工作流是整体 IoT 解决方案的一部分，该解决方案将运营和分析工作负载与 Azure Cosmos DB 和 Azure 数据资源管理器集成。

Jupyter 是其相关公司的商标。 使用此标志并不意味着认可。 Apache® 和 Apache Kafka® 是 Apache Software Foundation 在美国和/或其他国家/地区的商标或注册商标。 使用这些标记并不暗示获得 Apache Software Foundation 的认可。

体系结构

下载此体系结构的 Visio 文件。

数据流

1. Azure 事件中心、Azure IoT 中心或 Kafka 引入各种快速流动的流式处理数据，例如日志、业务事件和用户活动。

2. Azure Functions 或 Azure 流分析准实时地处理数据。

3. Azure Cosmos DB 以 JSON 格式存储流式消息，以服务于实时操作应用程序。

4. Azure 数据资源管理器引入用于分析的数据，使用其用于 Azure 事件中心、Azure IoT 中心或 Kafka 的连接器来实现低延迟和高吞吐量。

   或者，可使用事件网格数据连接将 Azure Blob 存储或 Azure Data Lake Storage 帐户中的 blob 引入 Azure 数据资源管理器。

   你也可采用压缩的分区 Apache Parquet 格式将数据持续导出到 Azure 存储，并使用 Azure 数据资源管理器无缝查询数据。 有关详细信息，请参阅连续数据导出概述。

5. 为了同时服务于操作和分析用例，数据可并行路由到 Azure 数据资源管理器和 Azure Cosmos DB，也可从 Azure Cosmos DB 路由到 Azure 数据资源管理器。

   • Azure Cosmos DB 事务可通过更改源触发Azure Functions。 Functions 会将数据流式传输到事件中心，以便引入 Azure 数据资源管理器。

     -或-

   • Azure Functions 可通过其 API 调用 Azure 数字孪生，然后将数据流式传输到事件中心以引入 Azure 数据资源管理器。

6. 以下接口从 Azure 数据资源管理器中存储的数据获取见解：

   • 混合来自 Azure 数字孪生和 Azure 数据资源管理器 API 的数据的自定义分析应用
   • 使用 Azure 数据资源管理器仪表板、Power BI 或 Grafana 的准实时分析仪表板
   • 来自 Azure 逻辑应用的 Azure 数据资源管理器连接器警报和通知
   • Azure 数据资源管理器 Web UI、Kusto.Explorer 和 Jupyter 笔记本

7. Azure 数据资源管理器与 Azure Databricks 和 Azure 机器学习集成以提供机器学习 (ML) 服务。 你也可使用其他工具和服务生成 ML 模型，并将它们导出到 Azure 数据资源管理器以对数据进行评分。

组件

此解决方案理念使用以下 Azure 组件：

Azure 数据资源管理器

Azure 数据资源管理器是一个快速、完全托管且高度可缩放的大数据分析服务。 Azure 数据资源管理器可准实时地分析来自应用程序、网站和 IoT 设备的大量流式处理数据，以服务于分析应用程序和仪表板。

Azure 数据资源管理器提供本机高级分析，用于：

• 时序分析。
• 模式识别。
• 异常情况检测和预测。
• 用于根分析的异常诊断。

Azure 数据资源管理器 Web UI 连接到 Azure 数据资源管理器群集，以帮助编写、运行和共享 Kusto 查询语言命令和查询。 Azure 数据资源管理器仪表板是数据资源管理器 Web UI 中的一项功能，可将 Kusto 查询本机导出到优化的仪表板。

其他 Azure 组件

• Azure Cosmos DB 是一种完全托管的快速 NoSQL 数据库服务，适用于新式应用开发，具有适合于任何规模的开放式 API。
• Azure 数字孪生存储物理环境的数字模型，以帮助创建模拟现实世界的下一代 IoT 解决方案。
• Azure 事件中心 是一种完全托管的实时数据引入服务。
• Azure IoT 中心可在 IoT 设备与 Azure 之间实现双向通信。
• Azure Synapse Link for Azure Cosmos DB 对 Azure Cosmos DB 中的操作数据进行准实时的分析，对事务性工作负载没有任何性能或成本影响。 Synapse Link 使用 Azure Synapse 工作区中的 SQL 无服务器和 Spark 池分析引擎。
• Kafka on HDInsight 是一种简单且经济高效的企业级服务，用于通过 Apache Kafka 进行开放源代码分析。

方案详细信息

该解决方案使用 Azure 数据资源管理器对来自各种 IoT 设备的快速流动的大量流式处理数据进行准实时 IoT 遥测分析。

可能的用例

• 车队管理，用于车辆部件的预测性维护。 此解决方案非常适合汽车和运输行业。
• 设施管理，用于能源和环境优化。
• 将实时路况与天气数据相结合，实现更安全的自动驾驶。

作者

本文由 Microsoft 维护， 它最初是由以下贡献者撰写的。

主要作者：

• Ornat Spodek | 高级内容管理员

后续步骤

• 什么是 Azure 数据资源管理器？
• 使用 Azure 数据资源管理器仪表板直观显示数据

相关资源

• 使用 Azure 数据资源管理器的大数据分析