テストミックスモデルを使用したロードテストにおける Web サイトまたはアプリケーションの実際の使用状況のエミュレーション

[アーティクル]
02/21/2013

さまざまなロードモデリングオプションを使用して、ロードテストの対象となる Web サイトまたはアプリケーションの実際の使用状況をより正確に予測します。正確なロードモデルに基づかないロードテストでは、誤解を招く結果が生じる可能性があるので、これを行うことが重要です。

要件

Visual Studio Ultimate

テストミックスモデルの強化

ロードテストエディターまたはテストミックスモデルウィザードを使用して、ロードテストシナリオで以下の種類のテストミックスを指定できます。詳細については、「Step 2.2 - Choosing a Test Mix Model in the New Load Test Wizard」および「Changing the Test Mix Model in a Scenario」を参照してください。

ロードテストシナリオに、次のいずれかのテストミックスモデルオプションを指定できます。

テストの合計数: 仮想ユーザーがテストイテレーションを開始するときに実行される Web パフォーマンステストまたは単体テストを決定します。ロードテストの終了時に、特定のテストの実行の回数が、割り当てられたテストの配分に近づけられます。IIS ログまたは本番データのトランザクションの割合に基づくテストミックスを使用する場合に、このテストミックスモデルを使用します。詳細については、「開始されるテストに基づく割合」を参照してください。
仮想ユーザー数: 特定の Web パフォーマンステストまたは単体テストを実行する仮想ユーザーの割合を決定します。ロードテストのどの時点でも、特定のテストを実行しているユーザー数と割り当てられた配布数が一致します。テストミックスが、特定のテストを実行しているユーザーの割合に基づいている場合、このテストミックスモデルを使用します。詳細については、「仮想ユーザーに基づく割合」を参照してください。

ユーザーのペース: ロードテストの過程で、各 Web パフォーマンステストまたは単体テストが、ユーザー単位で 1 時間ごとに指定された回数実行されます。仮想ユーザーがロードテスト全体で一定のペースでテストを実行するようにする場合、このテストミックスモデルを使用します。詳細については、「テストミックスのペース配分」を参照してください。

ヒント
テストミックスの割合と仮想ユーザーに基づく割合の選択基準は何でしょうか。この 2 つの選択肢の違いは、テストミックス内に他のテストと比較して継続時間が長いテストが含まれている場合に重要です。このような状況の場合は仮想ユーザーに基づく割合を選択してください。この選択は、多数のユーザーが長時間継続するテストを実行する可能性が高いテストの実行を回避するために有用です。ただし、すべてのテストの継続時間がほぼ同じ場合は、テストミックスの割合を選択しても問題はありません。

テストミックスの割合と仮想ユーザーに基づく割合の選択基準は何でしょうか。この 2 つの選択肢の違いは、テストミックス内に他のテストと比較して継続時間が長いテストが含まれている場合に重要です。このような状況の場合は仮想ユーザーに基づく割合を選択してください。この選択は、多数のユーザーが長時間継続するテストを実行する可能性が高いテストの実行を回避するために有用です。ただし、すべてのテストの継続時間がほぼ同じ場合は、テストミックスの割合を選択しても問題はありません。

時系列順: 仮想ユーザーは、テストがシナリオで定義されている順序に従って、Web パフォーマンステストまたは単体テストを実行します。仮想ユーザーは、ロードテストが完了するまでこの順序でテストの繰り返しを続行します。詳細については、「順次処理」を参照してください。

開始されるテストに基づく割合

ミックス内のテストごとに、次回のテスト実行時にそのテストが選択される頻度を決定する割合を指定できます。たとえば、3 種類のテストに対して次の割合を割り当てることができます。

TestA (50%)
TestB (35%)
TestC (15%)

この設定を使用すると、次回のテストは、割り当てられた割合に基づいて開始されます。ここでは、現在各テストを実行中の仮想ユーザーの数は考慮されません。

仮想ユーザーに基づく割合

テストミックスのこのモデルでは、仮想ユーザーが特定のテストを実行するパーセンテージを決定します。このテストミックスモデルを使用すると、次回のテストは、割り当てられた割合だけではなく、特定のテストを現在実行中の仮想ユーザーの割合も考慮して開始されます。ロードテストのどの時点でも、特定のテストを実行中のユーザーの数は、割り当てられた配分に可能な限り近づけられます。

テストミックスのペース配分

テストミックスのペース配分を指定する場合は、テストミックス内のテストごとに各仮想ユーザーが実行するテストの実行のレートを設定します。このレートは、各テストで、1 人の仮想ユーザーが 1 時間に実行するテストの実行として表されます。たとえば、次のテストミックスのペース配分を各テストに割り当てることができます。

TestA: 各ユーザーが 1 時間に 4 回テスト
TestB: 各ユーザーが 1 時間に 2 回テスト
TestC: 各ユーザーが 1 時間に 0.125 回テスト

テストミックスのペース配分モデルを使用した場合は、ロードテストランタイムエンジンが、実際に開始されるテストのレートが指定されたレート以下になることを保証します。割り当てられた数のテストの実行が完了するまでに時間がかかりすぎる場合は、エラーが返されます。

テストミックスのペース配分を使用する場合、[テストイテレーション間の待ち時間] 設定は適用されません。

ペース配分遅れへの分布の適用

ロードテストシナリオの [遅延のペースに分布を適用] プロパティの値を、true または false のどちらかに設定できます。

True: [テストミックスの編集] ダイアログボックスの [1 ユーザーの 1 時間あたりのテスト数] 列の値で指定された、標準的な統計分布による遅れを適用します。詳細については、「テキストミックスモデルを編集して仮想ユーザーがテストを実行する確率を指定」を参照してください。

たとえば、テストの [テストミックスの編集] ダイアログボックスの [1 ユーザーの 1 時間あたりのテスト数] の値を、1 時間あたり 2 ユーザーに設定したとします。[遅延のペースに分布を適用] プロパティを True に設定すると、標準的な統計分布がテスト間の待機時間に適用されます。1 時間につき 2 つのテストが実行されますが、その間隔は 30 分とは限りません。最初のテストが 4 分後に実行されたり、2 回目のテストは 45 分後に実行されたりする場合があります。
False: テストは、[テストミックスの編集] ダイアログボックスの [1 ユーザーの 1 時間あたりのテスト数] 列の値に指定した特定のペースで実行されます。詳細については、「テキストミックスモデルを編集して仮想ユーザーがテストを実行する確率を指定」を参照してください。

たとえば、テストの [テストミックスの編集] ダイアログボックスの [1 ユーザーの 1 時間あたりのテスト数] の値を、1 時間あたり 2 ユーザーに設定したとします。[遅延のペースに分布を適用] プロパティを False に設定すると、基本的にテスト実行時の設定を変更する余裕はなくなります。テストは 30 分ごとに実行されます。これにより、1 時間あたり 2 回のテストが行われます。

詳細については、「方法: 配分を適用してユーザーペースのテストミックスモデルを使用するときの遅延をペース配分する」を参照してください。

順次処理

順次処理に基づいてオプションを選択すると、仮想ユーザーは、テストが定義されている順序に従って、シナリオでのすべてのテストを実行するようになります。

[テストイテレーション] プロパティ

実行設定プロパティの中で、[テストイテレーション] プロパティの値を指定できます。この値は、1 回のロードテストで実行されるテストの反復回数です。指定された回数のテストイテレーションが開始されると、負荷プロファイルの設定にかかわらず、他のテストイテレーションは開始されません。指定された回数のテストイテレーションが完了すると、ロードテストが終了します。詳細については、「方法: テストイテレーションの数をテストの実行設定に指定する」を参照してください。

初期化テストと終了テスト

各仮想ユーザーのロードテストセッションの始まりと終わりに実行するテストを選択できます。詳細については、「テキストミックスモデルを編集して仮想ユーザーがテストを実行する確率を指定」を参照してください。

初期化テスト。このテストは、テストミックス内のいずれかのテストが実行される前に、各仮想ユーザーによって実行されます。
終了テスト。このテストは、特定の仮想ユーザーのすべてのテストが実行された後で実行されます。

初期化テストと終了テストには次の注意点があります。

ロードテストの継続時間を、反復カウントではなく、時間で指定できます。この場合、ロードテストの実行の継続時間が完了すると、終了テストは実行されません。
初期化テストが単体テストまたは Web パフォーマンステストの場合は、初期化テストの完了後の TestContext オブジェクトまたは WebTestContext オブジェクトの状態が保存されます。これは、テストミックス内のテストイテレーションのための開始コンテキストとして使用されます。
シナリオプロパティである [新しいユーザーのパーセンテージ] に定義された新しいユーザーは、初期化テスト、テストミックス内のテスト (1 回)、および終了テストを常に実行します。