了解 Azure 时序见解 Gen1 中的数据保留
注意
时序见解服务将于 2024 年 7 月 7 日停用。 请考虑尽快将现有环境迁移到备用解决方案。 关于弃用和迁移的更多信息,请访问我们的 文档。
谨慎
这是 Gen1 文章。
本文介绍影响 Azure 时序见解环境中的数据保留的两个主要设置。
视频
以下视频总结了 Azure Time Series Insights 的数据保留期以及如何进行规划。
每个 Azure 时序见解环境都有一个设置,用于控制 数据保留时间。 该值的范围是从 1 到 400 天。 数据会根据环境存储容量或保留期删除,以先行者为准。
此外,Azure 时序见解环境还具有超出 存储限制 设置的行为。 当达到环境的最大容量时,它控制入口和清除行为。 配置时,有两种行为可供选择:
- 清除旧数据(默认值)
- 暂停输入
备注
默认情况下,创建新环境时,保留期配置为 清除旧数据。 创建时间之后,可以根据需要在 Azure 门户的 Azure 时序见解环境的 “配置”页上切换此设置。
- 有关配置保留策略的信息,请阅读 Azure 时序见解中的保留配置。
下面更详细地描述了这两个数据保留策略。
清除旧数据
- 清除旧数据 是 Azure 时序见解环境的默认设置。
- 当用户希望在 Azure 时序见解环境中始终拥有 最新数据 时,他们可以首选 清除旧数据。
- 清除旧数据 设置 在达到环境限制(保留时间、大小或计数)后清除 数据。 默认情况下,保留期设置为 30 天。
- 首先清除最早引入的数据(“先进先出”方法)。
示例 1
请考虑一种示例环境,其中保留行为为,继续导入并清除旧数据。
数据保留时间 设置为 400 天。 容量 被设置为 S1 设备,其总容量为 30 GB。 假设入站数据平均每天累积到 500 MB。 鉴于入站数据速率,此环境只能保留 60 天的数据,因为最大容量达到 60 天。 入站数据累积为:每天 500 MB x 60 天 = 30 GB。
第 61 天,环境显示最新数据,但清除最早的数据(超过 60 天)。 清除操作为接收新数据腾出空间,以便能够继续探索这些新数据。 如果用户希望保留数据的时间更长,他们可以通过添加其他单位来增加环境的大小,也可以推送更少的数据。
示例 2
假设环境还配置了保留行为,继续入口和清除旧数据。 在此示例中,数据保留时间 设置为 180 天的较低值。 容量 设置为 S1 单元,容量总计为 30 GB。 为了在 180 天内存储数据,每日入口不能超过每天 0.166 GB(166 MB)。
每当此环境的每日入口速率超过每天 0.166 GB 时,数据就不能存储 180 天,因为某些数据被清除。 在繁忙的时间段内,请考虑相同的环境。 假设环境的流入速率可能增加到每天平均 0.189 GB。 在该繁忙的时间范围内,保留大约 158 天的数据(30GB/0.189 = 158.73 天的保留期)。 此时间小于所需的数据保留时间范围。
暂停入口
暂停数据入口 设置旨在确保在保留期之前达到存储空间和数量限制时数据不会被清除。
暂停数据输入 为用户在数据因超出保留期而被清除之前,提供了额外的时间来增加其环境的容量。
它有助于保护您免受数据丢失,但如果数据流入暂停超过事件源的保留期限,也可能导致最近的数据丢失。
但是,达到环境的最大容量后,环境会暂停数据流入,直到执行以下附加操作:
- 您可以增加环境的最大容量以添加更多扩展单元,具体如下所述:如何缩放 Azure 时序见解环境。
- 达到数据保留期限后,数据被清除,使环境保持在其最大容量以下。
示例三
请考虑带有已配置为 暂停入口的保留行为的环境。 在此示例中,数据保留期 配置为 60 天。 容量 设为 3 个 S1 单位。 假设此环境每天引入 2 GB 数据。 在此环境中,达到最大容量后,入口将暂停。
此时,环境会显示相同的数据集,直到数据输入恢复,或者启用 继续数据输入(这将清除较旧的数据以腾出空间给新数据)。
入口恢复时:
- 数据流按事件源接收的顺序流动
- 除非您已超过事件源的保留策略,否则事件会根据其时间戳进行索引。 有关事件源保留期配置的更多信息,请参阅 事件中心 FAQ
重要
应设置警报以提供通知,以帮助避免暂停入口。 由于 Azure 事件源的默认保留期为 1 天,因此可能会丢失数据。 因此,暂停入口后,除非执行其他操作,否则可能会丢失最新的数据。 必须增加容量,或者改用 清除旧数据 功能,以避免数据丢失的可能性。
在受影响的事件中心,请考虑调整 消息保留 属性,以最大程度上减少 Azure Time Series Insights 中数据入口暂停时的数据丢失。
如果未在事件源(timeStampPropertyName
)上配置任何属性,Azure 时序见解将默认使用到达事件中心的时间戳作为 X 轴。 如果将 timeStampPropertyName
配置为其他值,则在解析事件时,环境会在数据包中查找所配置的 timeStampPropertyName
。
阅读 如何扩展 Azure 时序见解环境,以扩展您的环境以容纳更多容量或延长数据保留期。
后续步骤
有关配置或更改数据保留设置的信息,请查看 配置 Azure 时间序列见解中的数据保留。
了解 Azure 时序见解中的
缓解延迟。