Xbox 认证失败模式分析 (FMA)
提高测试中决策的一致性、质量和相关性
摘要
认证需要确保决策始终准确且一致，同时确保只有提供真正价值的问题才能获得全职投资。
简介
认证团队每年做出数千个决定，以确定问题的严重性和不合规。
决策的一致性在跨区域的企业中是一个挑战，该企业需要进行从基层测试人员到领导者、经理和软件工程师的多层次内部评估。
故障模式分析提供了一个严格的框架，使所有相关人员能够快速、一致地做出关键决策，同时通过标记那些被认为太小而无法完全记录的问题来节省大量时间。
概述
故障模式分析允许我们构建一个框架，其中为问题分配了三个不同的分数：严重性、概率和可重复性。 这些分数的总和确定问题类型为以下值之一：
- CFR (重新提交的条件)。 这些问题被视为足够严重，使游戏在重新提交的修复之前无法发布，或者可以通过在特定时间范围内（通常是在最终用户交互的第一天）交付的内容更新来修复。
- SRI (标准报告问题)。 这些问题虽然很严重，但似乎还不足以阻止提交的产品投放市场。
- ION (注意事项)。 这些 SRI 问题无法直接映射到现有测试案例。
决定每个问题所在的逻辑进展部分基于测试案例的措辞和对事件在零售环境中发生的概率/重复性的个人评估。
为了服务于决策制定的所有领域，将严重性、概率和重复性的关键概念汇集到一个地方，尽管这可能需要一个拥有数万个条目的数据库来涵盖所有可能发生的情况。
将问题分解为组成部分很重要，以避免描述结果所需的行条目过多。 对于认证，FMA 将使用具有以下变量的系统：
- 严重性 - 6 种潜在结果。
- 概率 - 6 种潜在结果。
- 可重复性- 6 种潜在结果。
严重性（在下一节中详述）由描述性字符串组成，因此需要一个场景数据库来对数据进行排序，但概率和可重复性都是从问题本身以数学方式提取的。
通过保持这种分离，可以对 216 种可能性进行排序，每个测试案例仅使用六种严重性情景（这可能更多取决于测试案例的复杂性，但不会有很大的差别）。
通过编写 6 个语句并应用概率和可重复性的离散数学知识，我们获得与编写 216 个单独场景相同的值，具有易管理性和易于使用的优势。
FMA 的第一个组成部分：严重性
定义 - 严重性使我们能够定义问题的严重程度：即不考虑该事件以外的任何问题。
FMA 分析使我们能够将不同级别的严重性分解为用户友好的堆叠。 围绕认证的需求，产生了以下内容。
| 严重性分级 | 含义 |
|---|---|
| -4 | 对用户或平台没有相关影响。 |
| 1 | 对用户或平台的影响非常小。 |
| 2 | 对用户或平台影响较小。 |
| 6 | 对用户或平台有中等影响。 |
| 12 | 对用户或平台有重大影响。 |
| 22 | 灾难性（产品失效或 HBI）。 |
在这里，我们有六个潜在的存储桶来定义每个问题，从没有影响到非常高的影响。 进行了总体评级活动，以创建每个存储桶的加权评级（有关此内容的详细信息，请参阅第 X 节）。
上述内容本身将成为框架的一个强大部分，因为在多个个体之间一致地将问题分配到正确的存储桶相对容易。 我们没有满足于此，而是选择修改每个测试案例的步骤，以创建一个高度用户友好且能够反映特定测试案例特性的系统。
选项就是一个案例。
请注意它们采用两种特定形式的方式。 首先是在重点陈述中涵盖大多数问题，例如，“核心选项的工作方式与用户期望的方式截然不同，这部分影响了用户体验”。
这种风格允许测试团队根据严重性准确地为问题分配正确的存储桶。
第二种风格更具体，例如，当所有音频滑块设置为 0 时，游戏仍在某些位置提供音频。
这种风格捕捉了实验室中常见的特定行为，从而使如何分配变得毫无疑问。
FMA 的第二个组成部分：概率
定义 - 概率允许我们评估最终用户可能遇到给定问题的可能性。
我们使用与严重性相似的网格，但进行了修改：
| 概率 | 评级 |
|---|---|
| 极不可能发生。 0-10% 的用户会经历可能出现问题的步骤。 | -3 |
| 很少发生。 11-20% 的用户会经历可能出现问题的步骤。 | 2 |
| 偶尔发生。 21-40% 的用户会经历可能出现问题的步骤。 | 3 |
| 适中。 41-70% 的用户会经历可能出现问题的步骤。 | 4 |
| 频繁。 71-90% 的用户会经历可能出现问题的步骤。 | 6 |
| 几乎不可避免。 91-100% 的用户会经历可能出现问题的步骤。 | 8 |
示例：
- 以任何语言启动游戏时都会出现问题。 概率 = 8.
- 检查 Xbox 帮助 = 4 时出现问题。
- 启动时出现问题，波兰语仅适用于完整的欧洲版本 = -1 (减少的用户将以波兰语启动)
上述内容存在一定程度的主观性，但系统足够强大，即使测试人员对此决定略有不同，仍能输出正确的最终数字。
FMA 的第三个组成部分：可重复性
定义 - 可重复性使我们能够评估最终用户在最初的表现之后再经历给定问题的可能性有多大。
因此，我们了解两个数值与问题的严重性和问题的概率之间的关系。 我们需要确定的重要部分是问题的可重复性。
我们使用与严重性和概率相似的网格，但进行了修改：
| 可重复性 | 评级 |
|---|---|
| 问题不会再次发生。 | -3 |
| 低。 | 2 |
| 适中。 | 3 |
| 高。 | 4 |
| 几乎肯定会在初始事件之后再次发生。 | 5 |
| 肯定会在初始事件之后再次发生。 | 6 |
与概率一样，我们可以使用测试结果中的频率值，例如：
频率：
主机 1： 5/5
主机 2： 4/5
为了计算该值，我们将成功的复制尝试（第一个数字）相加，然后除以总尝试次数的总和（第二个数字）。 然后将其乘以 6 得到最终值。
FMA 评分说明
正确使用这三个系统会生成三个数字，这些数字应相加以创建最终分数。
