次の方法で共有

Regression Suite Automation Tool (RSAT) の使用

  • [アーティクル]

この記事では、Azure DevOps からのテスト ケースの読み込み、自動化ファイルの生成、テスト パラメーターの変更、結果の実行と調査、および Azure DevOps への作業内容の保存方法について説明します。

テスト ケースの読み込みと自動化ファイルの作成

RSAT で、テスト計画タブを選択し、読み込みを選択して、テスト ケースとテスト ケース自動化ファイルをダウンロードします。 設定タブで指定されたテスト計画に属する全てのテスト ケース (および対応する添付ファイル) は、ローカルの作業ディレクトリにダウンロードされます。

テスト ケースを読み込みます。

テスト ケースは、共通のテスト計画に基づいてテスト スイートごとに編成されます。 これらは、Azure DevOpsプロジェクトで作成したテスト スイートです。 このツールを使用すると、一度に1つのテスト スイートを操作できます。

ツールでテスト ケースの読み込みに失敗したときは、Azure DevOpsのテスト計画が適切に作成されていること、また、目的のテスト スイートおよびテスト ケースが含まれていることを確認します。

このテスト計画を初めて使用する場合は、パラメーター ファイル 列が空白になります。 テスト ケース用のテスト自動化ファイルを作成する必要があります。

テスト ケースでは、正常に実行するために次の添付ファイルが必要です。

  • 記録ファイル: 財務と運用タスク レコーダーによって作成された記録ファイルです。 これにより、テスト ケースのステップが定義されます。 通常は recording.xml という名前ですが、Azure DevOps のテスト ケースのタイトルと一致するように名前を付けることもできます。 Azure DevOps のテスト ケースに添付され、テスト ケースのローカル作業ディレクトリの 添付 フォルダーにダウンロードされます。
  • テスト自動化ファイルは、構成可能なテスト ケース パラメーターを含むテスト パラメーター ファイル (Microsoft Excel ファイル) とテスト実行ファイルで構成されます。これらのファイルは、テスト記録の自動実行を可能にするために RSAT によって生成されます。 ファイル名には _Base.cs、_Base.xml、および _Base.dll などの接尾語が使用されます。

テスト ケースで記録ファイルが利用可能になった後、生成 ボタンを選択すると、作業ディレクトリにテスト自動化ファイルが生成されます。 テスト ケースに Excel テスト パラメーター ファイルがまだない場合は、ファイルが作成され、パラメータファイル のグリッドに表示されます。 既存のパラメータ ファイルは影響を受けません。

パラメータファイルに影響を与えずに テスト実行ファイル のみを生成するには、生成する > テスト実行ファイルのみを生成する を選択します。

生成 > テスト実行ファイルとパラメータ ファイルを生成 を選択すると、テスト自動化ファイルと新しい Excel パラメータ ファイルの両方が作業ディレクトリに生成されます。 このオプションは、一致するステップを持つ新しいパラメータ ファイルを作成するため、変更されたステップを含む新しい記録ファイルをアップロードした後に役立ちます。

読み込まれたテスト ケースの一覧。

ツールの新しいバージョンをインストールするとき、および新しいバージョンの記録ファイルを変更または読み込むときに、テスト実行ファイルを生成する必要があります。 このようにして、実行ファイルを更新するだけでなく、テスト パラメーター ファイルも保持できます。

テスト実行ファイルのみのメニュー項目を生成します。

テスト パラメーターの変更

ここでは、Excel ファイルを変更して、テストの実行に使用する入力および検証のパラメータを指定する方法について説明します。 変更する 1 つ以上のテスト ケースを選択し、ツール バーでパラメーター ボタン (Microsoft Excel 記号) を選択します。 選択したテスト ケースごとに Excel ウィンドウが開きます。 または、作業ディレクトリから直接 Excel ファイルを開くこともできます。

一般タブに加えて、Excel パラメーター ファイルには MessageValidation タブおよび TestCaseSteps タブが含まれています。

TestCaseSteps タブを選択して、テスト ケースの入力パラメーターおよび検証パラメーターを構成します。 入力パラメーターおよび検証パラメーターは、対応するテスト ケース ステップの横に配置され、テスト作成者はコンテキストと簡単なエクスペリエンスを得ることができます。 パラメーターを変更すると、テスト ケースのどのステップに影響を与えているかが明確になります。 コンテキスト内の値または式を入力できます。 カラー コーディングにより、入力パラメーターと検証ステップが区別されます。

テスト ケース ステップ。

テスト ケースの記録中にコピーされた再利用可能な変数も、テスト ケース ステップのコンテキストで表示されます。 変数を簡単に検索してコピーし、次のステップや式で使用できます。 詳細については、変数をコピーしてテスト ケースに連鎖させる方法を参照してください。

テスト ケース ステップ変数。

編集が完了したら Excel ファイルを保存し、必ず 生成 を選択して、新しいパラメータを持つ新しい実行ファイルを作成します。

特定のユーザーとしてテストを実行する

既定では、テストは管理者ロールを使用して実行されます。 特定のセキュリティ ロールとしてテストを実行する場合は、Excel パラメーター ファイルの一般タブにあるテスト ユーザー パラメーターでユーザーの電子メール アドレスを指定します。 テスト ユーザー は、接続している環境の有効なユーザーである必要があります。 テストは、特定のユーザーが属しているセキュリティ ロールの下で実行されます。 この機能を機能させるには、バージョン 1.200 またはそれ以降のバージョンが必要です。

Excel パラメーター ファイルの一般タブ。

特定の会社のコンテキストでテストを実行する

Excel パラメーター ファイルの一般タブでは、法人 (会社) の名前を指定することもできます。 この会社のコンテキスト内でテストを実行します。 既定の会社を、ツールの 設定 ダイアログ ボックスで指定できます。

特定のテスト ステップの後で一時停止する

特定のテスト ステップ間に一時停止を挿入できます。 Excel パラメーター ファイルの TestCaseSteps タブに移動し、テスト ステップの一時停止列に値 (秒) を挿入します。 これにより、テスト ステップの完了後、テスト ケースの実行が一時停止されます。

顧客 ID フィールドに対する一時停止設定。

一時停止 列が表示されない場合、Excel パラメーター ファイルの古いバージョンを使用し、再生成する必要があります。 必要なテスト ケースを選択して、生成 > テスト実行とパラメーター ファイルの生成 を選択します。 パラメーター ファイルに対して行った編集が上書きされる可能性があるため、既存の Excel ファイルを先にバックアップする必要があります。

その他の重要なテスト ケースの実行の設定

次の設定が役立つ場合があります。 これらは、Excel パラメーター ファイルの一般タブで使用できます。

  • 情報ログの警告メッセージで失敗: 既定では、エラーが発生、または検証ステップが失敗した場合、テスト ケースは失敗します。 警告メッセージに応じてテスト ケースも失敗させたい場合は、情報ログの警告メッセージで失敗オプションを True に設定します。 これは、たとえば、テスト ケースで重複する顧客レコードを追加する場合などに役立ちます。 既定の設定は False です。
  • 失敗時にテスト スイートの実行を中止する: 失敗時にテスト スイートの実行を中止するオプションを True に設定した場合、テスト ケースが失敗すると、テスト スイートの実行は中止されます。 残りのすべてのテスト ケースのステータスは 未実行 になります。 既定の設定は False です。
  • ステップ間の一時停止: テスト ステップ間で一時停止する秒数。 これは、すべてのテスト ステップに影響します。 既定値は 0 (ゼロ) です。

情報ログおよびメッセージの検証

バージョン1.200 またはそれ以降のバージョンを使用して生成される Excel パラメーター ファイルには、 messagevalidation のタブが含まれています。

このタブには、メッセージを検証するためのメッセージを入力できます。 テスト ケースが実行を完了した後、ここで指定されたメッセージが情報ログに表示されることを検証します。 これらのメッセージが見つからない場合、テスト ケースは失敗します。

エラー メッセージを含む、予期されるメッセージを指定できます。 このセクションで指定されたメッセージは、実行中に情報ログで検出されていない限り、テスト ケースが失敗する原因になります。 Equals と Contains の 2 つの演算子を使用できます。 Equals を使用する場合、RSAT は情報ログ内のすべてのメッセージと文字列比較を実行し、完全なメッセージが見つからない場合は検証に失敗します。 次の値を含む を使用する場合、RSAT は情報ログの少なくとも 1 つのメッセージに指定した文字列が含まれていることを検証します。

メッセージ検証の例。

文字列比較で大文字と小文字を区別するかどうかは、設定タブのオプション ページで構成できます。

実行

実行を選択して、選択済みのテストケースを実行します。 既存の自動化ファイルを用いるテスト ケースのみを実行できます。 このツールでは、Excel に入力されたデータを使用して、このテストが開いて実行されます。

上下矢印ボタンを使用して、テスト ケースを実行する順序を変更できます。

テスト ケース実行前の一時停止

テスト ケース実行開始前に、一時停止を追加できます。 一時停止する場合は、目的のテスト ケースの Excel パラメーター ファイルの 一般 タブで、セル 一時停止 (秒) を更新します。

実行の停止

テストの実行が進行中の場合は、ツールバーの停止ボタンを選択して実行をキャンセルできます。 現在実行中のテスト ケースが完了した後で実行が停止します。 残りのテスト ケースは、Azure DevOps で未実行 としてマークされます。

テスト自動化ファイルの準備状況の検証

必要に応じて、テスト ケースの実行準備が整っているかどうかを検証する設定を有効にすることができます。 この設定により、レコーディングおよびテスト自動化ファイルの有効性に関連する不明なエラーが防止されます。 このオプションは、RSAT バージョン 1.210 で使用できます。 これを有効にするには、設定タブを選択し、オプション タブを選択します。

ローカル ファイル検証ルールを有効にする設定。

有効にすると、バックグラウンド プロセスによって、各テスト ケースの次の項目が継続的に検証されます。

  • ローカルの作業ディレクトリが存在します。
  • Excel パラメーター ファイルが存在します。
  • 実行に必要なテスト自動化ファイル (バイナリ ファイルまたは Xml ファイル) が存在します。
  • テスト自動化ファイルは、RSAT の現在のバージョンと互換性があります。 新しいバージョンの RSAT をインストールするときに、テスト自動化ファイルを再生成する必要があります。
  • Excel パラメーター ファイルに指定されたテスト ケース ID は、Azure DevOps のテスト ケース ID と一致します。

グリッドの有効な列は、検証プロセスの結果を示します。 検証が失敗した場合は、有効 列の X をクリックすると、エラーと推奨されるアクションが表示されます。

有効な列グリッド。

結果の調査

すべてのテスト ケースの実行が完了すると、合格 または 不合格 が 結果 列に設定されます。 結果をクリックすると、エラー メッセージが表示されます。

Azure DevOps で入手できる追加の調査詳細。 この情報を表示するには Azure DevOps プロジェクトページから、テスト > 実行 に移動します。

テスト結果です。

目的のテストの実行を選択します。 これには、その実行中に実行されたすべてのテストの結果が含まれます。

結果の円グラフ。

各テストの結果。

失敗したテスト結果を開いて、ErrorMessage セクションでエラーに関する情報を確認できます。

エラー メッセージの情報。

すべてのエラー メッセージは、C:\Users\$YourUserName\AppData\Roaming\regressionTool\errormsg-<TestCaseId>.txt でローカルでも利用可能です。

応答時間のテスト

実行ログに加えて、テスト ケースの期間もテスト結果で確認できます。

テスト ケースの期間。

テスト結果に添付されている BaseTime.xml ファイルを開くことにより、テスト ケースの各ステップの応答時間を確認することもできます。

応答時間ファイル。

応答時間を機能させるには、バージョン 1.200 またはそれ以降のバージョンが必要です。

Azure DevOps にアップロードして作業をコミットします。

Azure DevOps に作業をコミットするには、アップロード を選択します。 これにより、選択したテスト ケースの記録およびテストの自動化ファイル (Excel テスト パラメーター ファイルを含む) が、将来の使用のために Azure DevOps にアップロードされます。 テスト自動化ファイルを Azure DevOps にアップロードした後は、次に Regression Suite Automation Tool を使用するときに、テストの実行ファイルを生成したり Excel パラメーター ファイルを編集したりすることなく、別のコンピューターからでも簡単に 読み込み、実行できます。

アップロード メニューには、レコーディング ファイル (タスクの記録) のみをアップロードするためのオプションも用意されています。

選択するテスト ケースがわからない場合に、(前回の読み込み以降の) すべての変更を Azure DevOps にコミットするには、アップロード メニューで すべての変更された自動化ファイルをアップロード を選択します。

コンプライアンスのプロセス

RSAT には、テスト ケースの準備状況を管理する機能が用意されています。 また、テスト実行のためのサインオフ プロセスも用意されています。 これは、設定のプロセス タブでコンフィギュレーションできます。

コンプライアンス ファイルを処理します。

テスト ケースの準備完了を適用する

Azure DevOps で 準備完了のステータスがない限り、テスト ケースが実行されないように設定できます。 テスト ケースの準備完了を適用するのチェック ボックスをオンにします。 既定では、このチェック ボックスはオフになっています。

サインオフ

テストの実行が完了すると、RSAT によって Azure DevOps にサインオフ作業項目が作成されます。 サインオフ タスク チェック ボックスをオンにします。 次に、サインオフする各ユーザーに対して作成する作業項目のタイプを設定します。 サインオフには、機能、IT マネージャー、またはチーム マネージャー ロールを選択してから、適切なメール アドレスを指定できます。 その後、作業項目は Azure DevOps で作成され、承認のために所有者に割り当てられます。