从最新测试结果获得的重要经验教训

AV-Test 刚刚发布了最新的反恶意软件供应商测试结果，他们没有为 Microsoft Security Essentials 和 Microsoft Forefront Endpoint Protection 授予“AV-Test 认证”资格。

我们对该测试中指出的问题，进行了一次严格的复审。我们非常重视对用户的保护，这次复审所做的投入便是履行这一承诺的体现。

我们的复审表明：0.0033% 的 Microsoft Security Essentials 和 Microsoft Forefront Endpoint Protection 用户在测试期间曾受到未被检测到的恶意软件样本的影响。此外，在测试期间未被检测到的恶意软件样本中有 94% 并未对我们的用户造成影响。

无论是对于为用户提供保护的反恶意软件公司，还是对于试图确定反恶意软件产品功效的独立测试组织，可以说，反恶意软件领域都充满了挑战。为了应对这一挑战，我们选择根据恶意软件的流行范围和对用户的影响程度等相关指标来确定我们保护工作的优先级。Dennis Batchelder 在最近发布的博客“以用户为中心的优先级策略”中谈到了这一点。即便是独立的反恶意软件测试组织也很难设计出完全符合现实世界中情况的测试；在2012 年的 AVAR（亚洲反病毒研究者协会）安全大会上，AV-Test 在一次演讲中分享了一些存在于独立行业测试中的难点和不足。我们同意他们的观点，让测试尽善尽美确实不是件易事。

本文将回顾 AV-Test 的结果及其方法。详细信息将在下面提供，但这里有一些关键的前期数据点需要注意：

1.AV-Test 的报告是基于检测到/未检测到的样本类别；而我们的报告则是根据对用户的影响（并确定工作的优先级）。

2. AV-Test 的测试结果指出，在使用含有 100 个恶意软件的样本时，我们的产品仅检测到所有“零日恶意软件”中的 72%。我们通过对世界各地数以亿计的系统进行遥测从而了解到，在我们遭遇过任何零日恶意软件的用户中，有 99.997% 没有感染过在此测试中所使用的恶意软件样本。

3. AV-Test 的测试结果指出，在使用含有 216,000 个恶意软件的样本时，我们的产品未检测到9% 的“近期恶意软件”。我们通过遥测了解到，这些未检测到的恶意软件样本中， 94% 从未被我们的任何用户感染过。

下面是 AV-Test 的计分方式：

测试组件	我们的分数	分数权重百分比
防护	1.5/6.0	33%
修复	3.5/6.0	33%
可用性	5.5/6.0	33%

我们重点关注的是 1.5 分的防护分数。下面是这一分数的详细计算情况：

防护组件	说明	受测文件数	未检测到的恶意软件样本百分比	我们的分数	分数权重百分比
零日恶意软件	首次发现的恶意软件，不要与之前未披露的漏洞相混淆	100	28%	0/1.5	50%
近期恶意软件	最近 2-3 个月内出现的恶意软件	215,999	9%	0/1.5	25%
流行恶意软件	AV-Test 的数据表明已广泛传播的恶意软件	5,000	0%	1.5/1.5	25%

在测试过程中，我们的产品未检测到 28% 的零日恶意软件样本和 9% 的近期恶意软件样本。AV-Test 在计分方法中设定了最低线：我们在这两部分的测试结果都低于最低线。在这两个部分中未检测到的样本正是我们的分析重点，因为我们要确保不会忽略任何可能对我们的用户造成影响的因素。

我们在进行复审时发现，4% 的未检测到的样本已经经过我们的以用户为中心的处理程序处理并添加了特征码。这些恶意软件只对我们 0.003% 的用户产生了影响。

对于其余未检测到的文件，我们使用了回顾性分析来查看是否有任何用户感染过这些文件。我们查找了在遥测或文件收集过程中因纰漏而漏掉的文件。我们发现，只有 0.003% 的用户感染过2%的此类文件。

其余 94% 的样本都不能代表我们用户所遇到的恶意软件。即便当我们专门查找这些文件时，也无法在我们用户的计算机上找到。

在 2012 年 12 月，我们处理了 2000 万个疑似恶意软件的新文件，并通过遥测和对用户的影响来确定处理这些文件的优先级，从而增强防护能力，进而在将近 300 万台计算机上阻止了 400 万个不同的恶意文件。如果我们没有适当地按照优先级处理这 400 万个文件，那么它们可能已经对用户造成了影响。

我们会持续评估和研究改进我们处理程序的方法。我们从用户的反馈得知，行业测试很有价值，这些测试确实有助于我们不断改进。我们承诺将我们这 0.0033% 的不足降低到 0。

 

Joe Blackbird
项目经理

微软 恶意软件防护中心