有关性能的评论

[原文发表地址] A comment on performance

[原文发表时间] 2011-08-02 13:53

你要是查看一下用户心声网站，你会发现排名前五票选项目中的四个是与性能相关的。在接下来的几个月中，我会对我们所进行的VS性能相关工作做一些评论感想（会有很多）。我当前有些数据想要和大家分享一下。

大概在第二页中间下面一点（现在有73票），有一条建议说“改进Test Manager的性能”。这是我们在过去一年中常见的反馈信息，我们也对此做了许多的调查工作，尽力去改进了。和往常一样，当你深入这样一类问题时，你会发现一些小东西修补起来还是很容易的，最终还会改善到许多其他的小点。

我刚拿到我们最新的MTM性能工作报告，现在我决定和大家分享一些个中细节。我们总共对MTM做了38个性能测试和相关场景，并在LAN和WAN两种场景下都做了考量。

我们先来说说LAN。如果针对每个场景，我先花时间在MTM2010中做一下，再除以MTM11中做一下的时间，最后平均所有结果的数据，我总结下来，MTM11要比MTM2010**快4.6倍**。4.6倍是一个极大的差异，你绝对可以注意到。

如果不那么做，我统计在MTM2010中所有场景的总时间，再除以相同场景数在MTM11中的总时间，总结下来，MTM11比MTM2010**快2.8倍**。仍然是一个明显的改进。

第二种计算平均值的方法对长时间运行场景的影响会比短时间运行的那些大一些。比如我测试一个从10秒变为5秒的（两倍的提速），再测试一个从1秒变为0.1秒的（十倍的提速），第一种方法得出的结果是6倍 ((2 + 10) / 2)，而第二种方法得出的结果则是2.16倍 ((10 + 1) / (5 + 0.1))。你可以自行选择要用那种方法，结果其实都还不错。

在WAN下结果就更好了（低带宽，高延迟） - 第一种方法下**快了4.93倍，而第二种方法则快了4.8倍**。

当然，我们还没结束。上一版本至今有部分退步，场景并不能达到预期目标，而且有些还出了点小状况 – 比如调用9个web服务来提交一个新的bug（在WAN场景中尤其悲剧）。我预期最后我们可以让结果变得更好，我也希望，你要是有机会去尝试，你能注意到其中的明显改观，看到它反映良好。

我知道，你想知道VS的性能，针对这个我可有很多话可以说了，我会在接下去的几个月中慢慢道来。

Brian

附言：你可能会想，我为什么要那么详细地写MTM性能，我是TFS专家，又不是MTM专家。好吧，的确。我最近被嘱咐要更关注我们的测试专业计划与传递策略。所以，你可以预期我在这里写的博客会对我们的计划和进展进行一些更多的报道。

再附言：呵呵，我觉得我应该再开一个新的博客分类了。:)