Xbox FMA(인증 실패 모드 분석)
테스트에서 의사 결정의 일관성, 품질 및 정확도 향상
요약
인증은 의사 결정이 항상 정확하고 일관되도록 보장하면서 진정한 가치를 제공하는 문제만 풀 타임 투자를 받을 수 있도록 해야 합니다.
소개
인증 팀은 문제의 심각도 및 비준수를 결정하기 위해 매년 수천 개의 결정을 내립니다.
의사 결정의 일관성은 현장 테스터부터 잠재 고객, 관리자 및 소프트웨어 엔지니어에 이르기까지 지역 간 그리고 여러 내부 평가 계층의 홈인 비즈니스의 과제입니다.
오류 모드 분석은 모든 관련자가 주요 결정을 빠르고 일관되게 내릴 수 있도록 하는 엄격한 프레임워크를 제공하며, 완전히 문서화하기에는 너무 사소한 것으로 간주되는 문제에 플래그를 지정하여 상당한 시간을 절약할 수 있습니다.
개요
오류 모드 분석을 사용하면 심각도, 확률 및 반복성이라는 세 가지 다른 점수가 문제가 할당되는 프레임워크를 구성할 수 있습니다. 이러한 점수의 합계는 문제 유형을 다음 중 하나로 결정합니다.
- CFR(재제출 상태): 이러한 문제는 타이틀이 재제출에서 해결될 때까지 배송되지 않거나 특정 시간(종종 최종 사용자 상호 작용의 첫날)에 전달된 콘텐츠 업데이트를 통해 수정될 수 있을 정도로 심각한 것으로 간주됩니다.
- SRI(표준 보고 문제). 이러한 문제는 심각하지만 제출이 시장에 릴리스되는 것을 중지할 만큼 심각하지 않습니다.
- ION(참고 문제). 기존 테스트 사례에 직접 매핑할 수 없는 SRI 문제입니다.
각 문제가 있는 위치를 결정하기 위한 논리적 프로세스는 부분적으로 테스트 사례의 문구와소매 환경에서 발생하는 이벤트의 확률/반복성에 대한 개인 평가를 기반으로 합니다.
의사 결정의 모든 영역을 지원하기 위해 심각도, 확률 및 반복성의 주요 개념이 한 곳에서 통합되므로 가능하더라도 모든 상황을 포괄할 수 있는 잠재적으로 수만 개의 항목이 있는 데이터베이스가 필요합니다.
결과를 설명하는 데 필요한 줄 항목이 너무 많이 발생하지 않도록 문제를 구성 요소 부분으로 분할하는 것이 중요합니다. 인증의 경우 FMA는 다음 변수가 있는 시스템을 사용합니다.
- 심각도 - 6개의 잠재적 결과.
- 확률 - 6개의 잠재적 결과.
- 반복성 - 6개의 잠재적 결과.
심각도(다음 섹션에 자세히 설명됨)는 설명 문자열로 구성되므로 데이터를 정렬하는 시나리오 데이터베이스가 필요하지만 확률 및 반복성은 문제 자체에서 수학적으로 추출됩니다.
이러한 분리를 유지하면 테스트 사례당 6개의 심각도 시나리오만 사용하여 216개의 가능성을 정렬할 수 있습니다(테스트 사례의 복잡성에 따라 더 많을 수 있지만 크게 다르지는 않음).
6개의 진술을 작성하고 확률과 반복성에 대한 별도의 수학을 적용함으로써 관리 용이성과 사용 용이성의 이점과 함께 216개의 개별 시나리오를 작성하는 것과 동일한 값을 얻습니다.
FMA의 첫 번째 구성 요소: 심각도
정의 - 심각도를 사용하면 이벤트 외부의 어떤 요소도 고려하지 않고 문제가 얼마나 심각한지 정의할 수 있습니다.
FMA 분석을 사용하면 다양한 심각도 수준을 사용자에게 친숙한 스택으로 나눌 수 있습니다. 인증 요구 사항에 초점을 맞추어 다음을 생성했습니다.
| 심각도 등급 | 의미 |
|---|---|
| -4 | 사용자 또는 플랫폼에는 관련 영향이 없습니다. |
| 1 | 사용자 또는 플랫폼에 매우 사소한 영향을 미칩니다. |
| 2 | 사용자 또는 플랫폼에 사소한 영향을 미칩니다. |
| 6 | 사용자 또는 플랫폼에 보통의 영향을 미칩니다. |
| 12 | 사용자 또는 플랫폼에 중대한 영향을 미칩니다. |
| 22 | 치명적(제품이 작동하지 않거나 HBI가 됨). |
여기에는 영향 없음에서 매우 높은 영향까지 각 문제를 정의하기 위한 6개의 잠재적 버킷이 있습니다. 각 버킷에 대해 가중치를 부여한 등급을 생성하기 위해 전반적인 등급 연습이 수행되었습니다(자세한 내용은 섹션 X 참조).
여러 개인에 걸쳐 올바른 버킷에 문제를 일관되게 할당하는 것이 비교적 쉽기 때문에 위의 내용 자체가 프레임워크의 강력한 부분이 될 것입니다. 이에 안주하는 대신 테스트 사례당 단계를 수정하여 사용자 친화적이며 특정 테스트 사례의 특성을 반영할 수 있는 시스템을 만들기로 결정했습니다.
예를 들어 OPTIONS가 있습니다.
두 가지 특정 형태를 취하는 방법을 확인하십시오. 첫 번째는 "핵심 옵션은 사용자가 예상하는 것과 상당히 다른 방식으로 작동하여 사용자 환경에 부분적으로 영향을 줍니다"와 같은 집중된 문에서 대부분의 문제를 다루는 것입니다.
이 스타일을 사용하면 테스트 팀이 심각도와 관련하여 문제에 올바른 버킷을 정확하게 할당할 수 있습니다.
두 번째 스타일은 다음과 같이 보다 구체적입니다. 모든 오디오 슬라이더를 0으로 설정하면 제목이 특정 위치에서 오디오를 계속 제공합니다.
이 스타일은 실험실에서 자주 볼 수 있는 특정 동작을 캡처하여 할당 방법에 대해 의심의 여지가 없습니다.
FMA의 두 번째 구성 요소: 확률
정의 - 확률을 통해 최종 사용자가 주어진 문제에 잠재적으로 노출될 가능성을 평가할 수 있습니다.
심각도에 사용되는 것과 유사한 그리드를 사용하지만 다음과 같이 수정합니다.
| 확률 | 등급 |
|---|---|
| 발생할 가능성이 매우 낮습니다. 사용자의 0-10%는 문제를 나타낼 수 있는 단계를 거칩니다. | -3 |
| 원격. 사용자의 11-20%는 문제를 나타낼 수 있는 단계를 거칩니다. | 2 |
| 가끔. 사용자의 21-40%는 문제를 나타낼 수 있는 단계를 거칩니다. | 3 |
| 보통. 사용자의 41-70%는 문제를 나타낼 수 있는 단계를 거칩니다. | 4 |
| 자주. 사용자의 71-90%는 문제를 나타낼 수 있는 단계를 거칩니다. | 6 |
| 거의 불가피합니다. 사용자의 91-100%는 문제를 나타낼 수 있는 단계를 거칩니다. | 8 |
예:
- 어떤 언어로든 타이틀을 부팅할 때 문제가 발생합니다. 확률 = 8.
- Xbox 도움말 = 4를 확인할 때 문제가 발생합니다.
- 부팅 시 문제 발생, 전체 유럽 릴리스에 대해서만 폴란드어 = -1(폴란드어로 부팅하는 사용자 수 감소)
위의 내용에는 어느 정도 주관성은 있지만 테스터가 이에 대해 약간 다르게 결정하더라도 시스템은 여전히 올바른 최종 숫자를 출력할 수 있을 만큼 강력합니다.
FMA의 세 번째 구성 요소: 반복성
정의 - 반복성을 사용하면 최종 사용자가 원래 매니페스트 후 추가 시간에 주어진 문제를 경험할 가능성을 평가할 수 있습니다.
따라서 두 값이 문제의 심각도 및 문제의 확률과 어떻게 관련되는지 알고 있습니다. 식별해야 하는 미해결 부분은 문제의 반복성입니다.
심각도 및 확률에 사용되는 것과 유사한 그리드를 사용하지만 다음과 같이 수정합니다.
| 반복성 | 등급 |
|---|---|
| 문제가 두 번째로 발생하지 않습니다. | -3 |
| 낮음. | 2 |
| 보통. | 3 |
| 높음. | 4 |
| 초기 이벤트 이후에 발생하는 것이 거의 확실합니다. | 5 |
| 초기 이벤트 이후에 확실히 다시 발생합니다. | 6 |
확률과 마찬가지로 다음과 같은 테스트 결과의 빈도 값을 사용할 수 있습니다.
빈도:
콘솔 1: 5/5
콘솔 2: 4/5
값을 계산하기 위해 성공적인 재생산 시도(첫 번째 숫자)를 합산하고 총 시도 횟수(두 번째 숫자)의 합계로 나눕니다. 그런 다음 6을 곱하여 최종 값을 제공합니다.
FMA 점수 매기기 설명
세 시스템을 올바르게 사용하면 세 개의 숫자가 생성되며, 최종 점수를 만들기 위해 함께 추가해야 합니다.
