解决方案构想
本文介绍了一种解决方案构想。 云架构师可以通过本指南来帮助可视化此体系结构的典型实现的主要组件。 以本文为起点,设计一个符合工作负荷特定要求的架构合理的解决方案。
此解决方案构想演示了对大量内容分发网络 (CDN) 日志的低延迟、高吞吐量引入。 可以使用此数据创建准实时分析仪表板。
体系结构
下载此体系结构的 Visio 文件。
数据流
- 内容分发网络提供商(如 Verizon 和 Fastly)将大量 CDN 日志引入 Azure 数据资源管理器,以分析 CDN 资产的延迟、运行状况和性能。
- 大多数 CDN 方案通过 Azure 存储(Blob 或 ADLS Gen2)引入数据,Azure 存储使用 Azure 事件网格并触发到 Azure 数据资源管理器的引入管道。 或者,可以使用 LightIngest 工具批量引入数据。 还可以以压缩的分区 parquet 格式将数据连续导出到 Azure 存储,并无缝查询该数据,如连续数据导出概述中所述。
- Azure 数据资源管理器提供易于使用的本机运算符和函数,用于处理、聚合和分析时序和日志数据,并以闪电般的速度提供见解。 可以使用 Azure 数据资源管理器仪表板、Power BI 或 Grafana 生成准实时分析仪表板。
- 使用 Azure 逻辑应用的 Azure 数据资源管理器连接器创建和计划警报和通知。
组件
- Azure 存储 Azure 数据资源管理器连接器:使用 Azure 事件网格订阅从 Azure 存储(Blob 存储和 ADLSv2)连续引入,以将这些通知流式传输到 Azure 数据资源管理器。
- Azure 数据资源管理器:快速、完全托管且高度可缩放的数据分析服务,用于实时分析从应用程序、网站和 IoT 设备等资源流式传输的大量数据。
- Azure 数据资源管理器仪表板:以本机方式将在 Web UI 中浏览的 Kusto 查询导出到经过优化的仪表板。
- Azure 逻辑应用 Azure 数据资源管理器连接器:作为计划或触发任务的一部分自动运行 Kusto 查询和命令。
方案详细信息
可以使用此解决方案引入大量 CDN 日志,以便创建准实时分析仪表板。
可能的用例
- Log Analytics
- 时序分析
- IoT
- 常规用途探索分析
作者
本文由 Microsoft 维护, 它最初是由以下贡献者撰写的。
主要作者:
- Ornat Spodek | 高级内容管理员
后续步骤
有关详细信息,请参阅 Azure 数据资源管理器文档。