此解决方案将安全日志长期存储在 Azure 数据资源管理器中。 此解决方案可最大程度地降低成本，并让你在需要查询数据时轻松访问数据。
Grafana 和 Jupyter Notebooks 是各自公司的商标。 使用这些标志并不意味着认可。
体系结构
下载此体系结构的 Visio 文件。
数据流
对于 SIEM 和 SOAR，企业使用 Sentinel 和 Defender for Endpoint。
Defender for Endpoint 使用本机功能将数据导出到 Azure 事件中心和 Azure Data Lake。 Sentinel 将 Defender for Endpoint 数据用于监视设备。
Sentinel 使用 Log Analytics 作为数据平台，将数据导出到事件中心和 Azure Data Lake。
Azure 数据资源管理器使用事件中心、Azure Blob 存储和 Azure Data Lake 存储的连接器，以导入低延迟和高吞吐量的数据。 此过程使用 Azure 事件网格，这会触发 Azure 数据资源管理器引入管道。
如果需要，Azure 数据资源管理器会将安全日志连续导出到Azure 存储。 这些日志采用压缩分区 Parquet 格式，可供查询。
为了遵循法规要求，Azure 数据资源管理器将预先聚合的数据导出到 Data Lake 存储以进行存档。
Log Analytics 和 Sentinel 支持使用 Azure 数据资源管理器进行跨服务查询。 SOC 分析师使用此功能对安全数据运行全面调查。
Azure 数据资源管理器提供本机功能，用于处理、聚合和分析数据。
各种工具提供近乎实时的分析仪表板，可快速提供见解：
组件
Defender for Endpoint 保护组织免受跨设备、标识、应用、电子邮件、数据和云工作负荷的威胁。
Sentinel 是一种云原生 SIEM 和 SOAR 解决方案。 它使用高级 AI 和安全分析来检测、搜寻、防止和响应企业的威胁。
Monitor 是一种软件即服务 (SaaS) 解决方案，用于收集和分析环境和 Azure 资源上的数据。 这些数据包括应用遥测数据，例如性能指标和活动日志。 Monitor 还提供警报功能。
Log Analytics 是一项监视服务，可用于查询和检查监视日志数据。 Log Analytics 还提供了用于制表和统计分析查询结果的功能。
事件中心是一种完全托管的实时数据引入服务，简单且可缩放。
Data Lake 存储是一个可缩放的存储库，以数据的本机原始格式保存大量数据。 此 Data Lake 基于 Blob 存储，并提供用于存储和处理数据的功能。
Azure 数据资源管理器是一个快速、完全托管且高度可缩放的数据分析平台。 你可使用此云服务对大量数据进行实时分析。 Azure 数据资源管理器针对交互式即席查询进行了优化。 它可处理来自应用程序、网站、IoT 设备和其他来源的各种数据流。
Azure 数据资源管理器仪表板 从 Azure 数据资源管理器 Web UI 查询本机导入数据。 这些优化的仪表板提供了一种显示和浏览查询结果的方法。
备选方法
可以使用存储，而不是使用 Azure 数据资源管理器来长期存储安全日志。 此方法简化了体系结构，并有助于控制成本。 缺点是需要重新冻结日志以进行安全审核和交互式调查查询。 使用 Azure 数据资源管理器，可以通过更改策略将数据从冷分区移动到热分区。 此功能可加快数据浏览速度。
此解决方案的另一个选项是，同时将所有数据（无论其安全值如何）发送到 Sentinel 和 Azure 数据资源管理器。 会导致重复，但成本节省可能很显著。 由于 Azure 数据资源管理器提供长期存储，因此可以通过此方法降低 Sentinel 的保留成本。
Log Analytics 当前不支持导出自定义日志表。 在此方案中，可以使用 Azure 逻辑应用从 Log Analytics 工作区导出数据。 有关详细信息，请参阅使用逻辑应用将数据从 Log Analytics 工作区存档到 Azure 存储。
方案详细信息
安全日志可用于识别威胁并跟踪未经授权的数据访问尝试。 在被发现之前，安全攻击可能就已经开始了。 因此，访问长期安全日志非常重要。 查询长期日志对于识别威胁的影响和调查非法访问尝试的分布至关重要。
本文概述了用于长期保留安全日志的解决方案。 Azure 数据资源管理器是该体系结构的核心。 此服务以最小成本提供安全数据的存储，但会以你可以查询的格式保存该数据。 其他主要组件包括：
Microsoft Defender for Endpoint 和 Microsoft Sentinel，用于以下功能：
- 全面的终结点安全
- 安全信息和事件管理 (SIEM)
- 安全业务流程自动响应 (SOAR)
Log Analytics，用于短期存储 Sentinel 安全日志。
可能的用例
此解决方案适用于各种场景。 具体而言，安全运营中心 (SOC) 分析师可以使用此解决方案以：
- 全面调查。
- 取证分析。
- 威胁搜寻。
- 安全审核。
一位客户证实了此解决方案的有用性：“我们大约一年半前部署了 Azure 数据资源管理器群集。 在上一次发生 Solorigate 数据泄露事件时，我们使用了Azure 数据资源管理器群集进行取证分析。 Microsoft 团队还使用了 Azure 数据资源管理器群集来完成调查。 长期安全数据保留对于进行全面数据调查至关重要。”
监视堆栈
下图显示了 Azure 监视堆栈：
- Sentinel 使用 Log Analytics 工作区来存储安全日志，并提供 SIEM 和 SOAR 解决方案。
- 监视器跟踪 IT 资产的状态，并根据需要发送警报。
- Azure 数据资源管理器提供了一个基础数据平台，用于存储 Log Analytics 工作区、Monitor 和 Sentinel 的安全日志。
主要功能
此解决方案的主要功能提供了许多优势，如以下部分所述。
长期可查询数据存储
Azure 数据资源管理器在存储过程中为数据创建索引，使数据可用于查询。 当需要专注于运行审核和调查时，无需处理数据。 查询数据非常简单。
全面取证分析
Azure 数据资源管理器、Log Analytics 和 Sentinel 支持跨服务查询。 因此，在单个查询中，可以引用存储在任何这些服务中的数据。 SOC 分析师可以使用 Kusto 查询语言 (KQL) 来运行全面调查。 还可以将 Sentinel 中的 Azure 数据资源管理器查询用于搜寻。 有关详细信息，请参阅新增功能：Sentinel 搜寻支持 ADX 跨资源查询。
按需数据缓存
Azure 数据资源管理器支持基于窗口的热缓存。 此功能提供了一种将所选时间段中的数据移动到热缓存中的方法。 然后可以对数据运行快速查询，使调查更高效。 为此，可能需要将计算节点添加到热缓存。 调查完成后，可以更改热缓存策略，将数据移到冷分区中。 还可以将群集还原到其原始大小。
连续导出以存档数据
为了遵循法规要求，某些企业需要无限期地存储安全日志。 Azure 数据资源管理器支持连续导出数据。 可以使用此功能通过将安全日志存储在存储中来生成存档层。
经验证的查询语言
Kusto 查询语言是 Azure 数据资源管理器的本机语言。 此语言在 Log Analytics 工作区和 Sentinel 威胁搜寻环境中也可用。 此可用性可显著减少 SOC 分析师的学习曲线。 在 Sentinel 上运行的查询还适用于在 Azure 数据资源管理器群集中存储的数据。
注意事项
这些注意事项实施 Azure 架构良好的框架的支柱原则，即一套可用于改善工作负荷质量的指导原则。 有关详细信息，请参阅 Microsoft Azure 架构良好的框架。
实现此解决方案时，请记住以下几点。
可伸缩性
请考虑以下可伸缩性问题：
数据导出方法
如果需要从 Log Analytics 导出大量数据，则可能会达到事件中心容量限制。 要避免这种情况：
- 将数据从 Log Analytics 导出到 Blob 存储。
- 使用 Azure 数据工厂工作负荷，定期将数据导出到 Azure 数据资源管理器。
使用此方法，仅当数据在 Sentinel 或 Log Analytics 中达到其保留限制时，才能从数据工厂复制数据。 因此，应避免复制数据。 有关详细信息，请参阅将数据从 Log Analytics 导出到 Azure 数据资源管理器。
查询使用情况和审核准备情况
通常情况下，会将数据保存在 Azure 数据资源管理器群集的冷缓存中。 此方法可最大程度地降低群集成本，并足以应对涉及前几个月数据的大多数查询。 但在查询大数据区域时，可能需要横向扩展群集并将数据加载到热缓存中。
可以使用热缓存策略的热窗口功能实现此目的。 还可以在审核长期数据时使用此功能。 使用热窗口时，可能需要纵向或横向缩放群集，为热缓存中的更多数据腾出空间。 查询完大数据范围之后，更改热缓存策略以降低计算成本。
通过在 Azure 数据资源管理器群集中打开优化的自动缩放功能，可以根据缓存策略优化群集大小。 有关在 Azure 数据资源管理器中查询冷数据的详细信息，请参阅使用热窗口查询冷数据。
性能效率
性能效率是指工作负荷能够以高效的方式扩展以满足用户对它的需求。 有关详细信息，请参阅性能效率要素概述。
如果需要长时间或无限期地存储安全数据，请将日志导出到存储。 Azure 数据资源管理器支持连续导出数据。 使用此功能，可以将数据以压缩分区 Parquet 格式导出到存储。 然后可以无缝地查询数据。 有关详细信息，请参阅连续数据导出概述。
成本优化
成本优化是关于寻找减少不必要的费用和提高运营效率的方法。 有关详细信息，请参阅成本优化支柱概述。
Azure 数据资源管理器群集成本主要基于用于在热缓存中存储数据的计算能力。 与冷缓存查询相比，对热缓存数据的查询提供了更好的性能。 此解决方案将大部分数据存储在冷缓存中，从而将计算成本降到最低。
要了解在你的环境中运行此解决方案的成本，请使用 Azure 定价计算器。
部署此方案
要自动执行部署，请使用此 PowerShell 脚本。 此脚本创建以下组件：
- 目标表
- 原始表
- 用于定义事件中心记录如何驻留在原始表中的表映射
- 保留和更新策略
- 事件中心命名空间
- Log Analytics 工作区中的数据导出规则
- 事件中心与 Azure 数据资源管理器原始数据表之间的数据连接
作者
本文由 Microsoft 维护， 它最初是由以下贡献者撰写的。
首席作者：
- Deepak Agrawal | 产品经理
要查看非公开的 LinkedIn 个人资料，请登录到 LinkedIn。
后续步骤
- 集成 Azure 数据资源管理器以实现长期日志保留
- 轻松移动 Microsoft Sentinel 日志到长期存储中
- 使用 Azure Monitor 跨资源查询 Azure 数据资源管理器
- 如何：将 Microsoft Sentinel 数据导出配置为长期存储
- 使用 Azure 数据资源管理器长期保留 Microsoft Sentinel 日志
- 新增功能：Microsoft Sentinel 搜寻支持 ADX 跨资源查询
- 如何在 Azure 数据资源管理器中流式传输 Microsoft Defender ATP 搜寻日志
- 博客系列：Azure 数据资源管理器的无限制高级搜寻 (ADX)