Dynamics 365 Customer Insights - Journeys でのA/Bテスト

Customer Insights - Journeys では、強力な A/B テストを使用してトリガーベースの顧客体験を検証し、顧客にリーチする最適な方法に関するインサイトを得ることができます。

A/B テストを使用すると、どのチャネルまたはコンテンツ メッセージング戦略がより高い成功につながるかを測定できます。 各テストでは、ユーザーのコントロール グループ (バージョン A) とバリアント (バージョン B) を比較します。 コントロール グループは既定のエクスペリエンスを受け取ります。 バリアント グループは、異なるエクスペリエンスまたはメッセージを受け取ります。 グループの結果を比較することで、どれが最も効果的かを判断できます。

A/Bテストを効果的に行うには、かなりの数のオーディエンスが必要です。 1,000 人未満のオーディエンスでテストを実行すると、パターンの分布が不均等になるなど、予期しない結果が生じる可能性があります。 極端に小さなグループでテストを実行すると、ほとんどの場合、不均衡な分布が生成されます。 たとえば、オーディエンスのメンバーが 10 人しかいない場合、1 人がバリアント A に移動し、9 人がバリアント B に移動する可能性があります。これは、オーディエンスのサイズが小さすぎて、統計モデルに必要な分布に到達するのに十分なデータがない場合に想定される動作です。

例 1: トリガーベース体験の A/B テストの作成

誰かが購入を完了したときにアクティブ化されるトリガーベースの体験で 2 つの異なるメールをテストするとします。

1. 通常のように電子メール エディターで、最初のコンテンツを作成します。 コンテンツを完成させ、エラーがないかチェックして、ライブに移行できることを確認します。
2. コンテンツの準備ができたら、Customer Insights - Journeys>エンゲージメント>体験で、既存の体験を選択するか、新しい体験を作成します。
3. 体験を選択したら、プラス記号 (+) を選択して要素を追加し、次の手順に従います。
   • どのバリエーションのパフォーマンスが優れているかをテストする を選択します。

• テストするチャンネルを選択します。 この例では、2 つのメールをテストします。バージョン A 用に 1 つとバージョン B 用に 1 つを選択し、テストの作成 を選択します。

1. A/B テスト タイルを選択すると、サイド ペインが開きます。

   

   Jこのペインには以下のパラメータを含みます:

• 表示名 : テストを識別するに、テストの名前を入力します。 この名前は、A/B テストパネルと、実行中のテストを確認するときに顧客体験分析に表示されます。
• バージョン: ステップ 1 で準備したチャネルのコンテンツ(この場合は、テストする 2 つのメール)を選択します。 体験ビルダーで子タイルを選択するか、サイド パネルで選択することで、ドロップダウン リストを介して行うことができます。
• 初期オーディエンス: これは、結果を取得する前に A/B テストから控えるオーディエンスグループです。 このオプションは、セグメントベースの体験でのみ使用できます。これは、保持する顧客数を決定するのに役立つ顧客の総数が既にあるためです。 トリガーベースの体験には、顧客がアクションを完了したときに入るため、このオプションはありません。 そのため、この体験に参加する顧客の総数は不明です。
• 実験分布: オーディエンスの分布を選択します。 スライダーは自動的に五分五分に設定されていますが、希望の配分に設定することができます。 バージョンが受け取ることができる最小値は 10% 、最大値は 90% です。 従来、バージョン A がコントロール グループであり、バージョン B がバリアントであることを忘れないでください。
• 勝利のメトリック: 勝利のメトリック (ジャーニーゴールイベントのヒット数、クリック数、開封数が最も多いバージョン) を選択して、テストの勝者条件を設定します。 この場合、開封率を高めたいので、開封率オプションを選択します。
• このテストの終了: テストを自動的に終了するか、特定の日時に終了するかを選択します。 テストで勝者が決定されるのは、結果が統計的有意性に達したときに自動的に行われます。 つまり、明確な勝者が決定されると、システムは勝者のバージョンを残りの対象者に送信します。 敗者のバージョンは破棄されます。 A/B テストを終了するオプションとして統計的有意性を選択したが、30 日経過しても明確な勝者が見つからなかった場合、システムは自動的にデフォルト バージョンを送信します。 テストを早期に終了すると、コントロール母集団が解放されるまでに最大 4 時間かかることがあります。
• 既定のバージョン: 最後に、テストが正常に終了しない場合に備えて、既定のバージョンを選択します。 日時までに指定された期限までに当選者が決定されない場合は、既定のバージョンが自動的に送信されます。

1. すべてを設定し、ジャーニーを公開する準備ができると、A/B テストは次のようになります。

   

例 2: セグメント ベース体験の A/B テストの作成

今月ロイヤルティプログラムに参加した新しいメンバーを歓迎するジャーニーを作成するとします。 2 つの異なる件名をテストして開封率を高めたいと考えています。

最初の例で説明した手順 1 ～ 3 を完了しますが、サイド ペインの外観が異なることに気づくでしょう。 これは、セグメントベースの体験では、最初から顧客の総数が決まっているためです。これにより、2 種類の A/B テストを作成できます。

1. コントロール母集団のない A/B テスト: この A/B テストは、勝者が決定されるまで顧客がテストをファネルスルーするトリガーベースのジャーニーと同様に動作します。

   

2. コントロール母集団を使用した A/B テスト: これにより、テストする顧客の数を正確にシステムに伝えることができます。 たとえば、セグメントに 100 人のロイヤルティ メンバーがいる場合、最初に 20% または 20 人のメンバーでテストし、各バージョンに 10 人のメンバーを割り当てます。 A/B テストの後、残りの 80 人のメンバーに勝者バージョンが受け取ります。 初期の対象ユーザーと分布は、いつでも好みに合わせて調整できます。

   

この例では、コントロール母集団で A/B テストを使用しています。 他のすべての設定は例 1 と同じです。

A/B テストのライフサイクルを監視する

体験を公開した後、それを開いてテストのライフサイクルを追跡できます。

• 下書き: テストはまだ実行されていないため、設定を編集できます。
• 進行中 : これらのテストは現在実行中です。 設定はロックされており、大幅な変更はできません。
• 停止: これらのテストは停止され、マーケターは送信するバージョンを選択できます。
• 終了: 統計的に有意な優勢な結果を見つけたり、設定された日時に終了するよう予定されている場合に、タイム アウトで完了したテストです。 終了したテストは再利用できません。

結果を理解する

A/B テストの結果は、次の 3 つの可能性があります :

• テストの結果、優勢な結果が明確に決まった : テストの結果、一方のバージョンのパフォーマンスがもう一方のバージョンよりも優れていると結論付けられました。 優勢なバージョンには「勝者」バッジが付いており、体験でファネルした新規顧客に配布されます。
• テストは決定的ではなかった : テストの結果、受信者はバージョン B と同じようにバージョン A を使用する可能性が高いと結論付けられました。この場合、既定のバージョンが体験でファネルした新規顧客に送られます。
• テストが停止された : これは、作業者や他のメンバーが、テストが終了する前にテストを中止したことを意味します。 この場合、作業者または他のメンバーによって指定されたバージョンが、体験でファネルした新規顧客に送信されます。

よくあるご質問

1. 2 つ以上のバージョンで A/B テストを行うことはできますか?
   • いいえ、現時点ではありません。
2. セグメントベースの体験のコントロール グループ オプションが表示されないのはなぜですか?
   • セグメントの合計数を変更する属性ブランチまたはタイルを配置すると、テストが完了するまで保持する顧客の数がシステムにわからないため、コントロール グループ オプションはなくなります。
3. テストが予期せず終了してしまうのはなぜですか?
   • 統計的有意性でテストを終了することを選択した場合、システムはジャーニーを公開した時点から最初の 30 日以内に勝者を獲得しようとします。 どのバージョンも勝者と宣言されなかった場合、テストは終了し、デフォルトのバージョンが残りの対象ユーザーに送信されます。