何时使用 Azure 数据资源管理器
在这里,我们讨论如何确定 Azure 数据资源管理器是否适合你的大数据分析需求。 通过评估以下条件,可以确定 Azure 数据资源管理器是否满足你的性能和功能目标。
- 交互式分析
- 数据多样性
- 数据速度
- 数据量
- 数据组织
- 查询并发性
- 生成与购买
决策条件
Azure 数据资源管理器是一个大数据交互式分析平台,它使用户能够在高度敏捷的环境中做出数据驱动的决策。 这里列出的因素可帮助评估 Azure 数据资源管理器是否适合当前的工作负载。 仔细想想下面几个关键问题:
交互式分析
是否需要以交互方式分析数据?
数据分析包括聚合、范围确定、评估、相关性、异常情况检测、预测和常规模型评估等技术,这些技术有助于将大量数据简化为可操作的结论。 以交互方式执行此类活动是 Azure 数据资源管理器的用途。 这些活动可以在交互式仪表板和分析自定义应用程序中进行,也可以通过人性化的查询和可视化直接与数据进行交互。 对于在数据上执行长时间运行的批处理作业,Azure 数据资源管理器可能不是适合的技术。 请考虑使用 Microsoft Spark 等适用于 Azure 数据资源管理器的技术来执行长时间运行的任务。
数据多样性
我的数据结构变化如何?
Azure 数据资源管理器提供可缩放的高性能全文索引和动态架构支持。 如果你需要分析和处理结构化、半结构化 (json/xml) 和文本数据,那么这表明 Azure 数据资源管理器适合用于你的工作负载。
数据速度
实时数据分析是否是一个关键因素?
Azure 数据资源管理器可以快速、低延迟地引入大量数据。 典型的数据集包括跟踪、事务日志、时序、指标以及一般情况下的活动记录流。 对新数据进行准实时分析是一种常见用例。 Azure 数据资源管理器可以很好地连接到 Azure 事件中心、IoT 中心和 Kafka 等流式传输技术以支持此类工作负载。 但是,如果需要实时分析,Azure 数据资源管理器可能不是最佳选择。
数据量
需要引入多少数据?
Azure 数据资源管理器旨在为海量数据工作负载提供交互式和通过 API 进行的热路径分析。 对于总累积数据大小为几 GB 的场景,可能还有其他更加经济高效的解决方案。
数据组织
数据的整理如何保持一致性?
Azure 数据资源管理器旨在对原始数据应用读时模式。 这种方法可以灵活地根据当前需求以不同的方式以及不同的视点来检查数据。 此功能非常适合用于处理安全、运营和竞争环境等领域的意外挑战。 Azure 数据资源管理器在分析原始数据方面可提供极快的速度、可伸缩性和成本效益。 通常在数据仓库部署中,提取、转换和加载 (ETL) 过程会定期生成一组精心安排、高度一致且记录完善的实体和属性。 对这些复杂星型架构进行分析通常涉及到大型的事实到事实联接,Azure 数据资源管理器未针对此进行过优化。
查询并发性
有多少用户需要同时查询/引入/处理数据?
Azure 数据资源管理器广泛用于实现分析 SaaS 产品/服务。 如果需要支持在大量的并行请求中进行不同且独特的分析,Azure 数据资源管理器应该是一个很好的解决方案。
生成与购买
我要将数据平台自定义到什么程度?
Azure 数据资源管理器是完全托管的平台即服务。 但是,它不提供现成的统包解决方案。 因此,你需要在此基础上自定义、配置、连接和创建体验以交付解决方案(生成)。 Microsoft 和第三方提供了各种解决方案,这些解决方案使用 Azure 数据资源管理器在不同的领域和垂直领域提供这类统包解决方案。 例如,面向 IT 操作的 Azure Monitor。 安全域中的 Microsoft 高级威胁防护和 Microsoft Sentinel,以及 IoT 域中的 Azure 时序见解和 Azure IoT Central。
应用条件
Azure 数据资源管理器最适用于为知识工作者提供针对高速且多样化的原始数据进行交互式分析的功能。 接下来,请思考如何将上述条件应用到服装公司场景中的示例过程。
是否应将 Azure 数据资源管理器应用于生产数据?
示例中的服装公司的生产部门需要做出如何管理库存和产量的决策。 他们有库存的数据传入日志。 他们还希望使用从市场营销中获取的地理空间数据来按区域预测产品需求。 这些数据多种多样、速度快,并且数据量大。 这类数据的组织方式不一致,并且许多利益干系人需要同时查询这些数据。 从引入到查询的整个过程中,他们需要较低的延迟。 查询这些数据的响应时间至少需要小于一秒。 从此决策标准来看,Azure 数据资源管理器非常适用于此服装公司的生产部门。
是否应将 Azure 数据资源管理器应用于市场营销数据?
此服装公司的市场营销部门希望评估他们市场营销活动的效果。 他们从网站和市场营销活动中获取了点击流数据。 他们还从社交媒体获取了自定义文本(非结构化)数据。 这些数据千差万别并且十分散乱。 因此,该部门将需要进行探索性交互式分析。 从此决策标准来看,Azure 数据资源管理器非常适用于此服装公司的市场营销部门。
指南摘要
下表显示了如何评估新用例。 虽然这里未涵盖所有用例,但我们认为它可帮助你决定 Azure 数据资源管理器是否是适合你的解决方案。
用例 | 交互式分析 | 大数据(种类、速度和数据量) | 数据组织 | 并发 | 生成与购买 | 是否应该使用 Azure 数据资源管理器? |
---|---|---|---|---|---|---|
实现安全分析 SaaS | 大量使用交互式准实时分析。 | 安全数据具有多样化、数据量大并且高速的特征。 | 多种多样 | 此系统通常由来自多个租户的多名分析师使用。 | 实现 SaaS 产品/服务是一种生成场景。 | 是 |
CDN 日志分析 | 交互式故障排除、QoS 监视。 | CDN 日志具有多样化、数据量大并且高速的特征。 | 分隔日志记录。 | 一小部分数据科学家可能使用这些分析,但它也为很多仪表板提供支持。 | 从 CDN 分析中提取的值是特定于场景的,需要自定义分析。 | 是 |
IoT 遥测的时序数据库 | 交互式故障排除、分析趋势、使用情况和检测异常。 | IoT 遥测是高速数据,但可能只是结构化数据或中等规模。 | 相关记录集。 | 一小部分数据科学家可能使用这些分析,但它也为很多仪表板提供支持。 | 搜索数据库时,通常是“生成”上下文。 | 是 |
以下流程图汇总了在考虑是否使用 Azure 数据资源管理器时要提出的关键问题。