Xbox サーティフィケーション エラー モード分析 (FMA)
テストでの意思決定の一貫性、品質、関連性の向上
概要
認定資格は、意思決定が常に正確かつ一貫していることを保証し、真の価値を提供する問題のみがフルタイムの投資を受けられるようにする必要があります。
概要
認定チームは、問題の深刻さとコンプライアンス違反を判断するために、毎年何千もの決定を行います。
複数の地域にまたがると同時に、現場のテスト担当者からリード、マネージャー、ソフトウェア エンジニアまで複数階層の内部評価の中心となるビジネスにおいて、意思決定の一貫性は課題のひとつです。
エラー モード分析は、すべての関係者が重要な決定を迅速かつ一貫して行えるようにするための厳格なフレームワークを提供します。一方で、完全に文書化するには軽微すぎると見なされる問題にフラグを付けることで、かなりの時間を節約できます。
概要
エラー モード分析を使用すると、問題に重大度、確率、再現性という 3 つの異なるスコアが割り当てられるフレームワークを構築できます。 これらのスコアの合計によって、次のいずれかとして問題の種類が決まります。
- CFR (再提出修正必須項目)。 この問題は、再提出で修正されるまでタイトルが出荷されないか、一定の期間内 (多くの場合、エンド ユーザーの操作の 1 日目まで) に配信されるコンテンツ アップデートを通じて修正可能である程度の深刻さであると見なされます。
- SRI (標準レポートの問題)。 この問題は深刻ではあるものの、市場への提出物のリリースを停止するほど深刻ではないと見なされます。
- ION (要注意の問題)。 これは、既存のテスト ケースに直接マップできない SRI の問題です。
各問題がどの領域に該当するかを判断するための論理的な進行状況は、テスト ケースの文言と、リテール環境で発生するイベントの確率/再現性の個人的な評価に部分的に基づいています。
意思決定のすべての領域に対応するために、重大度、確率、再現性の主要な概念が 1 つの場所にまとめられます。ただし、あらゆる可能性を網羅するために、場合によっては数万件のエントリを含むデータベースが必要になることがあります。
結果を記述するために必要な行エントリの数が多くなりすぎないように、問題を構成要素に分割することが重要です。 サーティフィケーションについては、FMA は以下の変数を持つシステムを使用します。
- 重大度 - 6 つの潜在的な結果。
- 確率 - 6 つの潜在的な結果。
- 再現性 - 6 つの潜在的な結果。
重大度 (次のセクションで詳しく説明します) は説明的な文字列で構成されるため、データを並べ替えるにはシナリオ データベースが必要ですが、確率と再現性のどちらも問題自体から数学的に抽出されます。
これらを分離しておくことで、テスト ケースごとに 6 つの重大度シナリオのみを使用して 216 の可能性を並べ替えることができます (これは、テスト ケースの複雑さに応じて増える場合がありますが、それほど多くは増えません)。
6 つのステートメントを記述し、確率と再現性の個別の計算を適用することで、216 の個別のシナリオを記述するのと同じ価値が得られ、管理のしやすさと使いやすさのメリットを享受できます。
FMA の最初の構成要素: 重大度
定義 - 重大度を使用すると、イベントの外的な要因を一切考慮することなく、問題がどの程度深刻であるかを定義できます。
FMA 分析を使用すると、重大度のさまざまなレベルをユーザー フレンドリなスタックに分割できます。 サーティフィケーションのニーズに重点を置いて、次のものが生成されました。
| 重大度の評価 | 意味 |
|---|---|
| -4 | ユーザーまたはプラットフォームに関連する影響なし。 |
| 1 | ユーザーまたはプラットフォームに対する非常に軽微な影響。 |
| 2 | ユーザーまたはプラットフォームに対する軽微な影響。 |
| 6 | ユーザーまたはプラットフォームに対する中程度の影響。 |
| 12 | ユーザーまたはプラットフォームに対する重大な影響。 |
| 22 | 致命的 (製品が使用不可または HBI になります)。 |
このように、"影響なし" から "重大な影響" まで、各問題を定義するための 6 つの潜在的なバケットがあります。 バケットごとに重み付けされた評価を作成するために、全体的な評価の演習が実施されました (詳細についてはセクション X を参照してください)。
上記自体は、複数の個人間で一貫して問題を適切なバケットに割り当てることが比較的簡単であるため、フレームワークの揺るぎない部分となります。 これを解決する代わりに、テスト ケースごとの手順を変更して、特定のテスト ケースの慣例を反映できるユーザー フレンドリなシステムを作成することにしました。
その例がオプションです。
2 つの特定の形式を取る方法に注意してください。 1 つ目は、の重点的なステートメントでほとんどの問題を網羅する方法です。たとえば、"コア オプションの動作は、ユーザーの期待とは大きく異なっており、ユーザー エクスペリエンスに部分的に影響します。"
このスタイルにより、テスト チームは重大度に関連して問題に正しいバケットを正確に割り当てることができます。
2 番目のスタイルはより具体的です。たとえば次のようになります。"すべてのオーディオ スライダーを 0 に設定しても、このタイトルでは特定の場所でオーディオが再生されます。"
このスタイルでは、ラボでよく見られる特定の動作をキャプチャし、割り当て方法に疑問が残らないようにします。
FMA の 2 番目の構成要素: 確率
定義 - 確率を使用すると、エンド ユーザーが特定の問題にさらされる可能性を評価できます。
重大度に使用されるグリッドと似たグリッドを使用しますが、変更があります。
| 確率 | 評価 |
|---|---|
| 発生する可能性は非常に低い。 0 ～ 10% のユーザーが、手順の実行中に問題に遭遇する可能性があります。 | -3 |
| リモート。 11 ～ 20% のユーザーが、手順の実行中に問題に遭遇する可能性があります。 | 2 |
| 偶発的。 21 ～ 40% のユーザーが、手順の実行中に問題に遭遇する可能性があります。 | 3 |
| ちょうどよい。 41 ～ 70% のユーザーが、手順の実行中に問題に遭遇する可能性があります。 | 4 |
| 高頻度。 71 ～ 90% のユーザーが、手順の実行中に問題に遭遇する可能性があります。 | 6 |
| ほぼ回避不可能。 91 ～ 100% のユーザーが、手順の実行中に問題に遭遇する可能性があります。 | 8 |
例:
- どの言語でもタイトルを起動するときに問題が発生します。 確率 = 8。
- Xbox ヘルプ = 4 を確認するときに問題が発生します。
- 起動時に問題が発生します。全ヨーロッパ リリースについてはポーランド語でのみ発生します = -1 (ポーランド語で起動するユーザーは比較的少ない)
上記にはある程度の主観が存在しますが、テスト担当者がこれについて若干異なる判断をした場合でも、システムは、適切な最終の数値を出力できるだけの堅牢性を備えています。
FMA の 3 番目の構成要素: 再現性
定義 - 再現性を使用すると、当初の発生以後にエンド ユーザーが特定の問題をさらに経験する可能性を評価できます。
2 つの値が問題の重大度と確率にどのように関連しているかは説明しました。 特定する必要がある未決定の部分が、問題の再現性です。
重大度と確率に使用されるグリッドと似たグリッドを使用しますが、変更があります。
| 再現性 | 評価 |
|---|---|
| 問題は 2 回目は発生しません。 | -3 |
| 低。 | 2 |
| ちょうどよい。 | 3 |
| 高。 | 4 |
| 最初のイベントの後にほぼ確実に発生します。 | 5 |
| 最初のイベントの後に確実に再び発生します。 | 6 |
確率と同様に、テスト結果から次のような頻度の値を使用できます。
頻度:
本体 1: 5/5
本体 2: 4/5
値を計算するには、成功した再現試行 (最初の数値) を合計し、試行の合計数 (2 番目の数値) の合計で除算します。 次に、これを 6 で乗算すると最終的な値が得られます。
FMA スコアリングの説明
3 つのシステムを正しく使用すると 3 つの数値が生成され、最終的なスコアを作成するために一緒に追加する必要があります。
