テスト チームの進捗 Excel レポート
ソフトウェアのテストを担当するチームは、テスト チームの進捗レポートを使用してテスト アクティビティの監視を行い、テストの作成、テストの自動化、および回帰テストの実行におけるチームの進捗状況をレポートすることができます。テスト チームの進捗レポートには、次の 6 つのレポートがあります。これらのレポートは、チーム プロジェクト用に定義されたテスト ケース用に収集されたデータとテスト結果に基づいて生成されます。
テスト計画の進行状況: チームによるテスト作業の進捗状況と、テスト動作を予定どおりに終了できるかどうかを判断する場合に使用します。
テスト ケースの作成状態: チームによるテスト ケース定義作業の進捗状況を追跡し、テスト ケースを実行できるかどうかを判断する場合に使用します。
スイート別のテストの状態: 各テスト スイートにおけるチームのテスト作業の進捗状況を判断する場合に使用します。
領域別のテストの状態: 各製品区分におけるチームのテスト作業の進捗状況を判断する場合に使用します。
失敗の分析: テスト中に検出された回帰の数を監視する場合に使用します。
オートメーション デザインの状態: 自動化が必要なテスト ケースの数を追跡する場合に使用します。
このテスト チームの進捗レポートは、チーム内でテスト計画を作成し、Microsoft Test Manager を使用してテストを開始してから使用できるようになります。詳細については、「アプリケーションのテスト」を参照してください。
[!メモ]
チーム エクスプローラーのチーム プロジェクト用の [Excel レポート] フォルダーにある [テスト チーム管理] フォルダーから、テスト チームの進捗レポートにアクセスできます。このフォルダーにアクセスできるのは、チーム プロジェクト ポータルが有効に設定され、SharePoint 製品を使用するようにプロビジョニングされている場合だけです。詳細については、「チーム プロジェクト ポータルまたはプロセス ガイダンスへのアクセス」を参照してください。
このトピックの内容
|
関連トピック |
必要なアクセス許可
レポートを表示するには、チーム プロジェクトの SharePoint 製品に対する [読み取り] アクセス許可が割り当てられているグループに割り当てられているか、そのグループに属している必要があります。
レポートを変更またはカスタマイズするには、SQL Server Analysis Services の TfsWarehouseDataReaders セキュリティ ロールのメンバーである必要があります。また、チーム プロジェクトの SharePoint 製品に対する [メンバー] アクセス許可が割り当てられているグループに割り当てられているか、そのグループに属している必要があります。詳細については、「Visual Studio ALM 用データ ウェアハウスのデータベースへのアクセスの許可」および「アクセス許可の管理」を参照してください。
レポートのデータ
テスト チームのプロジェクト レポートには、データ ウェアハウス内のデータを参照するピボットテーブル レポートに基づくデータが表示されます。このレポートのデータは、チームのメンバーが Microsoft Test Manager を使用してテスト ケースを定義し、テストを実行するときに生成される結果から派生します。詳細については、「Microsoft テスト マネージャーでのテストの実行」および「Microsoft テスト マネージャーでのテスト結果の確認」を参照してください。
.gif "Ee730420.collapse_all(ja-jp,VS.110).gif")
テスト ケースの作成とオートメーション デザインの状態
テスト チーム内でテスト ケースの作成状態レポートを使用することにより、テスト ケースの定義と設計作業の進行状況を監視できます。このレポートには、過去 4 週間以内にデザイン状態および準備状態だったテスト ケースの数がバーンダウン グラフで表示されます。
.png "テスト ケース編集 Excel レポート")
テスト チーム内でオートメーション デザインの状態レポートを使用することにより、テスト ケースの自動化作業の進行状況を監視できます。このレポートには、過去 6 週間以内に自動化状態に移行したテスト ケースの数がバーンダウン グラフで表示されます。
.png "オートメーション デザインの状態 Excel レポート")
テスト ケースの作成状態レポートとオートメーション デザインの状態レポートを生成するピボットテーブル レポートで使用されるレポート フィルターとレポート フィールドを、次の表に示します。
フィルター |
フィールド |
|---|---|
|
テスト ケースの作成状態レポート専用フィールド:
オートメーション デザインの状態レポート専用フィールド:
|
テスト計画の進行状況
テスト計画の進行状況レポートには、すべてのテスト ケースのテスト結果が積み上げ面グラフで表示されます。このレポートでは、テスト結果は最後に記録された結果でグループ化され、過去 4 週間のデータが示されます。結果には、実行しない、ブロック、失敗、および成功があります。
.png "テスト計画の進行状況レポート")
このレポートを確認することにより、スプリントやイテレーションなどの期間におけるチーム作業の進行状況を把握できます。たとえば、次のような状況をチーム内で確認できます。
チームによるテスト作業はどの程度完了しているか。
チームがテストを時間どおりに完了できるか。
実行予定のテストの残り件数。
成功しているテストの件数。
失敗しているテストの件数。
ブロックされているテストの件数。
テスト スイート別または製品区分別のテスト結果
スイート別のテストの状態レポートと領域別のテストの状態レポートには、記録されたテスト結果を基に、すべてのテスト ケースに対して収集されたすべてのテスト結果のカウントが一覧表示されます。このテスト結果は、テスト スイート別または製品区分別にグループ化されます。テスト結果の状態には、実行しない、ブロック、失敗、または成功があります。
チーム内でこれらのレポートを使用することにより、高い失敗件数を示すテスト結果や実行されなかったテスト ケースのテスト スイートまたは製品区分を調査することができます。
回帰テスト
テスト チームで失敗の分析レポートを使用すると、検出された回帰の数を監視するのに役立ちます。回帰とは、以前のバージョンのソフトウェアでは出現せず、テスト対象のバージョンのソフトウェアでは出現したバグです。回帰テストを実行するチームは、新しいバージョンのソフトウェアにのみ出現するバグを検出することに重点を置きます。
失敗の分析レポートには、失敗したすべてのテスト結果の累積数が積み上げ面グラフで表示されます。このレポートでは、すべてのテスト ケースおよびテスト構成について結果が失敗の種類でグループ化され、過去 6 週間の結果が示されます。失敗の種類には、回帰、なし、新しい問題、および既知の問題があります。
.png "失敗の分析 Excel レポート")
失敗が発生した場合、システムはテスト ケースが実行された各テスト構成を検証し、このテスト ケースに対して同じ構成の過去の結果を識別しようとします。テスト ケースまたはテスト構成に割り当てられる失敗の種類は、次の基準に基づいて指定されます。
回帰: 直前の結果が "成功" だった場合。
なし: 直前の結果が "成功" または "失敗" 以外だった場合。
新しい問題: 直前の結果が見つからない場合。
既知の問題: 直前の結果が "失敗" だった場合。
このレポートをレビューして、次の事項を確認できます。
全体でいくつのテストが回帰しているか。
チームは回帰または失敗したテストの総数を想定の範囲内またはチームのゴール内に抑えているか。
チームは問題を特定してからすぐにその問題に対処しているか。既知の問題に適時に対処しているか。
正常な失敗の分析レポートには、適度な数の新しい問題、既知の問題、および回帰が示されます。これらの区分の 1 つ以上でスパイクが発生した場合、チームはこの問題をさらに詳しく調査する必要があります。スパイクの発生は、チームがチェックインしているテスト動作またはコード品質のいずれかの問題を示している可能性があります。また、最新のビルドの状態、バグの状態、およびコード チャーンをチーム内で確認し、これらの要因の測度によってテスト動作の線が変化したのかどうかを判断することをお勧めします。
レポート フィルターとレポート フィールド
テスト計画の進行状況レポート、スイート別のテストの状態レポート、領域別のテストの状態レポート、および失敗の分析レポートを生成するピボットテーブルで使用されるレポート フィルターとレポート フィールドを、次の表に示します。
フィルター |
フィールド |
|---|---|
テスト計画の進行状況レポート専用フィルター:
スイート別のテストの状態レポート専用フィルター:
失敗の分析レポート専用フィルター:
|
テスト計画の進行状況レポート専用フィールド:
スイート別のテストの状態レポート専用フィールド:
領域別のテストの状態レポート専用フィールド:
失敗の分析レポート専用フィールド:
|
テスト チームの進捗状況の監視に必要なアクティビティ
正確で効果的なテスト チームの進捗レポートを生成するには、次のアクティビティをチーム内で実行する必要があります。
テスト ケースとテスト計画を定義し、テスト ケースをテスト計画に割り当てます。詳細については、「テスト計画の定義」を参照してください。
テストを実行します。詳細については、「Microsoft テスト マネージャーでのテストの実行」を参照してください。
手動テストの場合は、テスト ケースの各検証手順の結果を、成功または失敗としてマークします。
.gif "重要 :")
重要テスト担当者は、テスト ステップが検証テスト ステップである場合、そのことを示す状態でマークする必要があります。テスト ケース全体の結果には、テスト担当者がマークしたすべてのテスト ステップの状態が反映されます。したがって、テスト担当者がテスト ステップを失敗とマークしている場合、または何もマークしていない場合、テスト ケースは失敗の状態になっています。
自動テストの場合は、各テスト ケースは成功または失敗として自動的にマークされます。
(省略可能) レポートを製品区分とイテレーションでフィルター処理する場合は、各テスト ケースの区分パスとイテレーション パスを指定します。
正確で効果的なテスト ギャップ レポートを作成するには、次の表に示すアクティビティをチーム内で実行する必要があります。
ワークシート レポート |
必要なアクティビティ |
|---|---|
|
|
|
|
|
|
|
|
レポートの更新とカスタマイズ
テスト チームの進捗レポートを更新する場合は、レポートを Office Excel で開き、いずれかのワークシートに対してピボットテーブル レポートのフィルター オプションを変更します。各レポートは、次の表に示すとおり、他のビューをサポートするようにカスタマイズできます。
ビュー |
アクション |
|---|---|
|
Iteration のフィルターを変更します (既定 = すべて)。 |
|
Area のフィルターを変更します (既定 = すべて)。 |
|
Test Plan のフィルターを変更します (既定 = すべて)。 |
|
列の [ピボットテーブルのフィールド リスト] で、@@Last 6 weeks@@ を別の Set に置き換えます。 |
ピボットテーブル レポートおよびピボットグラフ レポートの使用とカスタマイズの方法の詳細については、Microsoft Web サイトの次のページを参照してください。