数据驱动工程：跟踪使用，合理决策

Artikel
12/20/2009

大家好！我叫 Peter，在 Office 可信计算 (TWC) 团队工作。我们的工作重点之一就是收集有关人们如何使用各种应用程序的数据，以便于我们作出合理的决策。您大概已经看到我们的 Send-a-Smile 反馈工具，并且根据我们迄今为止收到的意见来看，您可能已经使用过该工具。除了这类定性反馈外，Office 的最后三个版本还通过客户体验改善计划 (CEIP) 包括了遥测技术，以帮助我们了解人们是如何使用应用程序的。定性数据与定量数据的结合使用可为我们作出合理的设计决策提供很高的参考价值。

什么是客户体验改善计划？

简单来讲，CEIP 是一个可帮助我们改进 Office 的匿名的选择加入计划。如果您选择加入 CEIP，有关您如何使用 Office 的匿名数据将在后台不定期上传给 Microsoft。

当您第一次运行 Office 2010 应用程序时，系统会询问您打算将什么设置应用于“帮助保护和改进 Microsoft Office”(Help Protect and Improve Microsoft Office)，而 CEIP 就包括在“推荐的设置”(Recommended Settings) 中。您还可以在“信任中心”的“隐私选项”中找到它。在以前的版本中，当您第一次运行 Office 时，会弹出“帮助 Office 变得更加完美”(Help Make Office Better) 气球，您可以从这里选择加入该计划。

当然，我们会尊重您的隐私，不会收集任何可能表明您的身份或您的个人数据的信息。您的匿名数据与其他数百万用户的数据混杂在一起，帮助我们广泛了解人们使用 Office 的方式。

我们收集什么数据？

我们收集与我们的应用程序相关的信息，由于信息种类繁多，无法在博客文章中一一列举。工程团队定义了他们有兴趣了解的数据点，并将这些数据点添加到软件中进行数据收集。这些数据点通常分为以下几类：

使用情况。 大量的数据点都属于此类别，它们会告诉我们人们是如何使用该软件的。收集的一些信息包括功能区上的命令、一般功能使用情况、在向导中采取的操作等。它使我们能够回答一般性问题，如：有多少用户在执行 X 操作？X 操作的发生频率如何？以及一些特定问题，如：有多少文档包含图片？或者，Word 文档的平均大小是多少？
可靠性和性能。 我们希望确保我们的软件按预期方式执行，万一它不能按预期方式执行，我们希望得到尽可能多的信息。例如，为了衡量可靠性，开发人员会在代码中放置断言，以告诉我们何时出现了逻辑不一致（如应发生的事情没有发生）的情况。知道这些问题发生的频率将会帮助我们着重改善未来版本中的产品。至于性能，我们期望应用程序能够快速启动和加载文档。收集诸如文档大小和加载时间之类的基本信息将使我们能够验证我们的工作成效。
硬件/软件配置。 人们拥有哪种硬件？他们如何配置其各种 Office 应用程序？通过提供上下文，这些信息可帮助我们解读数据。例如，如果我们看到一个文档的加载时间很长，就会想：这种情况是否只发生在内存容量较低或特定处理器速度的计算机上？视频卡特性对 PowerPoint 中的切换有何影响？在不同的语言和区域设置中的使用情况有何差别？

TWC 团队为不同应用程序团队提供专业知识和指导，以获取有关其特定使用情况的高质量遥测。因为我们在一个月内会收到数以亿计的会话，所以我们高度依赖数据聚合，并且我们提供多种分析和报告工具，以便当团队需要知道他们的客户如何使用其软件时，可以更轻松地访问这些数据。

我们如何使用这些数据？

在从参与 CEIP 的客户那里收集数据之前，我们经常通过以下途径作出设计决策：咨询长期从事产品工作的人员（意见），或根据个人观察（如观察某人的家庭成员）（趣闻轶事）。如果幸运，您还能从 Office 设计小组的研究人员或规划团队所开展的研究中获得某些数据。虽然有数据，但这些数据来自受约束的用户样本，很少来自做实际工作的真正用户。在 Office 2003 版本的整个开发过程中，Office 团队开始利用 CEIP 数据来更准确地了解真正的用户如何使用 Office 应用程序。伴随着每个版本，我们扩大了我们的工具集，并且对实际的使用率数据有了更丰富的认识和理解。

对于许多 Office 2010 设计决策，我们都是利用这些使用率数据，根据真正的客户实际如何使用应用程序来回答问题。为了提供一个简单示例，不妨考虑这样一个问题：当用户处于 PowerPoint 的某个特定视图中时，功能区是否应折叠？这是一个有关用户是否仍能想出如何启动幻灯片放映的讨论。我们给出了几个不同的入口点来启动幻灯片放映，报告工具显示了每个入口点的使用频率。