你当前正在访问 Microsoft Azure Global Edition 技术文档网站。 如果需要访问由世纪互联运营的 Microsoft Azure 中国技术文档网站,请访问 https://docs.azure.cn

什么是 Azure 数据资源管理器?

Azure 数据资源管理器是一种完全托管的高性能、大数据分析平台,可让你轻松实时地分析大量数据。 Azure 数据资源管理器工具包提供了用于数据引入、查询、可视化和管理的端到端解决方案。

通过跨时序分析结构化、半结构化和非结构化数据,并通过使用机器学习,Azure 数据资源管理器使你可以轻松地提取关键见解、发现模式和趋势以及创建预测模型。 Azure 数据资源管理器 使用传统关系模型,将数据组织到具有强类型架构的表中。 表存储在数据库中,群集可以管理多个数据库。 Azure 数据资源管理器可缩放、安全、可靠且企业就绪,对日志分析、时间序列分析、IoT 和通用探索性分析非常有用。

Azure 数据资源管理器功能由基于其查询语言构建的其他服务扩展:Kusto 查询语言 (KQL) 。 这些服务包括 Azure Monitor 日志Application Insights时序见解Microsoft Defender for Endpoint

何时应使用 Azure 数据资源管理器?

请使用以下问题来帮助确定 Azure 数据资源管理器是否适合你的用例:

  • 交互式分析:交互式分析是否是解决方案的一部分? 例如,聚合、关联或异常情况检测。
  • 多样化、速度、数量:架构是否多样化? 是否需要近实时地引入大量数据?
  • 数据组织:是否要分析原始数据? 例如,未完全策划的星型架构。
  • 查询并发:多个用户或进程是否使用 Azure 数据资源管理器?
  • 生成与购买:是否计划自定义数据平台?

Azure 数据资源管理器非常适合在高速、多样化的原始数据上启用交互式分析功能。 使用以下决策树来帮助确定 Azure 数据资源管理器是否适合你:

此图是 Azure 数据资源管理器决策树的示意性工作流图像。

是什么让 Azure 数据资源管理器与众不同?

数据速度、种类和数据量

使用 Azure 数据资源管理器,可以通过排队引入或流式引入在几分钟内引入 TB 的数据。 可以查询数 PB 的数据,并很快返回结果。 Azure 数据资源管理器提供高速度(每秒钟数百万事件)、低延迟(秒)和线性缩放引入原始数据。 以不同的格式和结构,从各种管道和源引入数据。

用户友好的查询语言

使用 Kusto 查询语言 (KQL)(一种最初由团队发明的开源语言)查询 Azure 数据资源管理器。 此语言易于理解和学习,并且开发效率高。 可以使用简单的运算符和高级分析。 Azure 数据资源管理器还支持 T-SQL

高级分析

使用 Azure 数据资源管理器进行时序分析,它具备大量的功能,包括:增加和减少时序、筛选、回归、季节性检测、地理空间分析、异常检测、扫描和预测。 时序函数经过了优化,可在几秒内处理数千个时序。 使用群集插件可以轻松检测模式,这些插件可以诊断异常并进行根本原因分析。 还可通过在 KQL 查询中 嵌入 python 代码来扩展 Azure 数据资源管理器功能。

易于使用的向导

引入向导使数据引入过程简单、快速和直观。 Azure 数据资源管理器 Web UI 提供直观的引导体验,可帮助你快速上手以开始引入数据、创建数据库表和映射结构。 它从各种源并以各种数据格式启用一次或持续引入。 表映射和架构是自动基于建议配置的,易于修改。

丰富的数据可视化

数据可视化可帮助你获取重要见解。 Azure 数据资源管理器提供内置的可视化和开箱即用的仪表板,支持各种图表和可视化效果。 它具备与 Power BI 的本机集成、用于 GrafanaKibana 和 Databricks 的本机连接器、对 TableauSisense、Qlik 等的 ODBC 支持。

自动引入、处理和导出

Azure 数据资源管理器支持服务器端存储的函数、连续引入,以及连续导出到 Azure Data Lake 存储。 它还支持在服务器端引入时间映射转换、更新策略,并通过具体化视图预计算计划聚合。

Azure 数据资源管理器流

下图显示了使用 Azure 数据资源管理器的不同方面。

Azure 数据资源管理器流。

一般而言,在与 Azure 数据资源管理器进行交互时,需要完成以下工作流:

注意

可在 Azure 数据资源管理器 Web UI 中或使用 SDK 访问 Azure 数据资源管理器资源。

  1. 创建数据库:创建群集,然后在该群集中创建一个或多个数据库 。 每个 Azure 数据资源管理器群集可以容纳最多 10,000 个数据库,每个数据库最多包含 10,000 张表。 每张表中的数据都存储在数据分片(也称为“盘区”)中。 系统将根据引入时间自动对所有数据创建索引和分区。 这意味着你可以存储大量不同的数据。同时,得益于数据的存储方式,你可以快速访问查询这些数据。 快速入门:创建 Azure 数据资源管理器群集和数据库

  2. 引入数据:将数据加载到数据库表,以便你可以对其运行查询。 Azure 数据资源管理器支持多种引入方法,每种方法都有自己的目标方案。 这些方法包括引入工具、各种服务的连接器和插件、托管管道、使用 SDK 的编程引入,以及直接引入。 引入向导入门。

  3. 查询数据库:Azure 数据资源管理器使用 Kusto 查询语言,它是一种富于表达力、直观且高效的查询语言。 它提供从简单的单行代码到复杂的数据处理脚本的平滑转换,并支持查询结构化、半结构化和非结构化(文本搜索)数据。 该语言包含多种查询语言运算符和函数(聚合、筛选、时序函数地理空间函数联接联合等)。 KQL 支持跨群集和跨数据库查询,并在分析(JSON、XML 等)方面功能丰富。 该语言还默认支持高级分析。

    使用 Web 应用程序来运行、查看以及共享查询和结果。 可以通过编程方式(使用 SDK)发送查询,或向 REST API 终结点发送查询。 如果你熟悉 SQL,请通过 SQL 到 Kusto 速查表开始使用。 快速入门:在 Azure 数据资源管理器 Web UI 中查询数据

  4. 可视化结果:在本机 Azure 数据资源管理器仪表板中,使用不同的视觉对象显示数据。 还可使用连接器显示某些主要可视化服务(如 Power BIGrafana)的结果。 Azure 数据资源管理器还对 TableauSisense 等工具提供 ODBC 和 JDBC 连接器支持。

如何提供反馈

我们很乐意收到你关于 Azure 数据资源管理器和 Kusto 查询语言的反馈: