電子メールのデザインで A/B テストを設定し実行する

[アーティクル]
12/12/2023

重要

この記事は、2025 年 6 月 30 日に製品から削除されるアウトバウンドマーケティングにのみ適用されます。 中断を避けるため、この日付より前にリアルタイムの旅程に移行してください。詳細: 切り替えの概要

メールの A/B テストを使用して、2 つの類似するデザインのどちらがより成功する可能性が高いかを発見し、残りのユーザーにはより優れたデザインを自動的に送信します。はじめに、コントロールのデザインを作成し (Aバージョン)、それを元にして微調整(件名や画像など)を施した Bバージョンのデザインを作成します。最後に、顧客体験の一部としてテストを実行します。

この体験はテスト全体を自動で実行します。まず、バージョン A をセグメントの小さな部分 (たとえばランダムに選択した取引先担当者の 10 %) に送信し、バージョン B をセグメントの別の部分 (通常は 10 %) に送信します。選択した期間 (たとえば 24 時間) 待機してから、やりとりの結果を分析して選択した条件 (最も開封されたものなど) に基づいて勝者を選択します。その後、体験は勝ったデザインを残りのセグメント (残りの 80 %) に自動的に送信します。

マーケティング電子メールの A/Bテストを作成する

A/B テストを作成するには、コントロールデザインを作成することから開始し (これが A バージョンとなります)、その一部を改変した B バージョンを作成します。各 A/B テストでは、1 種類の変更のみが許可されます (ヘッダー、本文、または フルコンテンツなど)。

Note

同じデザインに対して定義できる新しい A/B テストは 1 つだけです。 A/B テストが実行されるまで待ってから、新しいテストを作成してください。

メールにおける A と B のデザインをせっていするには:

新しいメールを作成してそのコンテンツをデザインするの説明に従って、通常どおり初期 (コントロール) デザインを作成します。可能な限り完全な状態まで仕上げをおこない、実用面での不備がないよう確認をしてください。
デザイン A が完了すると、次のいずれかを実行します。
- メールエディターの右上隅にある A/B テストボタンを選択して、A/B テストパネルを開きます。
- このメール用のテストを定義していない場合、A/B テストパネルで テストの追加ボタンを選択します。
- すでにテストを定義している場合は、バージョンを切り替えることでバージョン A と B を変更できます。
新しいテストのパラメーターが表示されます。次の操作を行います。
- テストの種類に、次のいずれかを設定します。ヘッダー (件名、メール送信者): B バージョンのデザインで別の件名または異なる「送信者」名を選択できます。メールの受信者には、「送信者」名がメールの送信者の名前として表示されます。ここを変更しても実際の「送信者」のアドレスは変更されません。これは A、B バージョンとも共通です。- 本文: 電子メール本文の 1 つ以上のデザイン要素を選択し、デザインの B バージョンで、それらの要素の設定、コンテンツ、外観を変更できます。- フルコンテンツ: メール本文で異なる件名、「送信者」名、および 1 つ以上のデザイン要素を選択し、デザインの B バージョンで、それらの要素の設定、コンテンツ、外観を変更できます。
- テストを識別するためのテストタイトルを入力します。運用に際して対象とするテストを選択すると、顧客体験のメールタイルの A/B テスト パネルにこのタイトルが表示されます。
重要

一度にメッセージに対して定義できる新しい A/B テストは 1 つだけです。前のテストが実行された後にのみ、新しいテストを追加することができます。

Note

それぞれのテストは、1つのメールタイルにつき1回だけ実行できます。電子メールの A/B テストの運用を構成すると、その他の電子メールのタイルまたは体験を選択したテストをすることはできません。 1 つのデザインで複数のテストを実行する場合は、前のパネルが実行されたら、新しいテストを A/B テストに追加します。メッセージから A/B テストを削除するには、ごみ箱ボタンを選択します。
選択したタイプの新規テストが A/B テスト パネルの新規セクションに追加されます。以下に注意してください。
- 一度に新しいテストを 1 つのみを起動し、アクティブに実行できます。
- A/B テスト パネルのアクティブ セクションには、メッセージに対して現在実行中の A/B テストと過去のすべての A/B テストの両方が表示されます。
- A/B テスト パネルから実行するテストを選択します。テストが選択されると、そのテストで使用するバージョン A およびバージョン B ボタンを表示するように展開されます。
- テストのタイプまたはタイトルを変更できます。運用に際して対象とするテストを選択すると、顧客体験のメールタイルにこのテストタイトルが表示されます。
- ヘッダーテストでは、選択したテスト (件名と「差出人」名) が制御するパラメーターに、A アイコンまたは B アイコンが表示され、テスト内容と表示されている (編集可能な) バージョンを示します。選択したバージョン ( Aバージョン または Bバージョン ) のボタンに合わせてアイコンが変更されます。
- 本文テストの場合、テスト対象の各要素には、(選択されている場合) 選択したバージョンボタンの色と一致する色付きのフレームが表示されます (バージョン A は青、または バージョン B はピンク)。これを設定する方法の詳細は、次の手順を参照してください。
A/B テスト パネルからテストを選択し、 Bバージョン ボタンを選択します。作成するテストの種類に応じて、次のいずれかを実行します。
- ヘッダーテストの場合、件名および 送信者名 フィールドが B アイコンを表示しています。ここに新しい件名を入力するか、ここに「送信者」名を入力してください。
- 本文テストの場合、テストに要素を追加するには、キャンバス上で要素を選択して強調表示し、その強調表示したフレームの上部にあるタブで A/B ボタンテスト済みでない本文要素のアイコンを選択します。これは切り替えボタンで、これを再度選択すると、テストから要素を削除できます。テスト中の要素には白い背景が表示され、各バージョンで同じ要素には濃い青色の背景が表示されます。テスト済み要素では、フレームの色はバージョンを示します。明るい青色はバージョン A、暗いピンクはバージョン B を示します。テストには必要なだけ要素を追加できますが、通常は一度に少数の要素 (または 1 つの要素) をテストするのが最善です。
次に、テストするために有効化したアイテムのデザインを変更します。ヘッダーテストの場合、適切なフィールドテキストを編集します。本文テストでは、テキスト要素のテキストコンテンツを編集したり、他の種類のデザイン要素の プロパティ タブ設定を編集できます。 バージョン A ボタンと バージョン B ボタンを使ってバージョンを前後に切り替えて、表示しながらそれぞれのバージョンの編集を続けることができます。

Note

A/B テストを有効にした後でも、テストの対象ではないメッセージの一部を編集できます。これを行う場合、現在選択したテストボタンとバージョンボタンに関係なく、編集内容はすべてのバージョン (A バージョンとすべての B バージョン) に影響します。ただし、テストするために有効な設定を編集する場合は、バージョン A と バージョン B のボタンを使用して選択したバージョンのみを編集します。 A バージョンはすべてのテストで同じですが、B バージョンは各テストで一意であることが重要です。

本文テストが既に設定されたメッセージに新しいデザイン要素を追加する場合はご注意ください。これを行った後、新しい要素が各テストの各バージョンの正しいコンテンツと設定で、完全に定義されていることを確認してください。
デザインと新しい‘A/B テスト設定を完了後は、ツールバーの 本番リリース を選択することで、顧客体験の一環として電子メールが利用可能となります。

顧客体験からテストを実行する

メールの準備ができたら、顧客体験を利用して送信します。 A/Bテストの電子メールは、複雑さに関係なく、あらゆる種類の顧客体験に含めることができます。また、本稼働環境のキャンペーンで使用する顧客体験も含めることができます。この方法では、それぞれのデザインを顧客体験の対象とする全体の一部のみ送信し、送信したメッセージのそれぞれのバージョンに対する受信者の反応を確認してから、残りの対象者に最良のメッセージを送信します。どちらが優勢となるかの条件設定 (開封された数、クリック数など) 、テストの実行時間を選択できます。

重要

信頼できるテスト結果を作成するためには、システムが勝者を選択する前に、常に各バージョン (A および B) を最低 100 人の受信者に送信する必要があります。一般的な推奨設定は、1,000 メンバー (またはそれ以上) のセグメントを使用して、バージョン A をセグメントの 10% にテスト送信し、バージョン B を別の 10% にテスト送信し、そして残りの 80% に勝ち残ったデザインを送信します。

バージョンごとに 1 人や数人のわずかな受信者で A/B テストを実行することは可能ですが、多くの場合、バージョンの不均一や非ランダムな分布と信頼性の低い最終結果をもたらします。これは機能の実験でのみ行うことを推奨します。

顧客体験に A/B テストを追加するには:

顧客体験の設定を行う際に、A/BテストのEメールが配置可能となる1つ以上のEメールタイルを入れてください。
顧客体験のパイプラインに含まれるメールのタイルを選択し、サイドパネルの プロパティ タブを開いてタイルの設定を開始します。
プロパティ パネルの マーケティング電子メールメッセージ にて、A/B テストに設定したメールメッセージを選択します。電子メールのタイル用にデザインされた A/B テストを含むメッセージを選択すると、タイルの隅に A および B アイコンが表示されます。これらは、タイルに対するテストがまだ設定されていないため、グレーで表示されています (テストを有効にすると青に変わります)。
プロパティ パネルを下方向にスクロールし、A/B テスト のスイッチでテストをオンにします。 A/B テストの設定画面が起動します。

注意

A/Bテストがタイルで有効になっていない、A と B のデザインを含む電子メールを選択した場合は、Aバージョンがすべての受信者に送信されます。
テストを構成するには、以下の設定を行ってください:
- A/B テストの選択: 選択した電子メールのデザインには、まだ使用されていない少なくとも 1 つのテストが設定されている必要がありますが、複数のテストが設定されている場合もあります。このタイルにて実行するテストの名称を選択してください。一度に実行できるテストは1つだけです。
- A/B 分布: テストに含める取引先担当者 (送信対象とする送信先の合計に対する比率) の件数を、スライダーを設定して選択します。テスト対象者の半分はバージョン A を受け取り、残りの半分はバージョン B を受け取ります。すべてのテストされる取引先担当者と、それぞれが受け取るバージョンはランダムに選択されます。
- 優勢の指標: 優勢となるデザインを、クリックスルー率 (受信者がメッセージ内のリンクをクリックした頻度)、または開封率 (受信者がメッセージを開いた頻度) に基づいて決定するかどうかを選択します。いずれの場合も、送信されたバージョンの総件数からクリック数や開封数が一番多いものの割合から、優勢となるバージョンが決定されます。
- テストの期間: テストの運用期間を決定するにはこれらの設定を使います。最適な結果を得るには、それぞれのテストを少なくとも 24時間以上実行することをお勧めします。特に、世界中のユーザー(異なる時間帯)を対象としている場合は、可能な限り長時間実行することを推奨します。テスト期間の終了時に、システムは結果を分析し、セグメント内の残りの対象者に優勢となったデザインを送信します。優勢とならなかったデザインが送信された対象者には、優勢とみなされたバージョンは再送されません。
- 結果が決定的でない場合に送信: テストで明確な優勢なデザインを選出できなかった場合にどうするか、を選択します。この場合は、A バージョン、B バージョン、または 50/50 の確率でランダムに両バージョンを残りの対象者に送信します。
Note

優勢は帰無仮説を使用して選択されます。少なくとも 1,000 件以上の連絡先を持つ大規模なセットでは、優勢なバリアントの信頼度が少なくとも 95% である必要があります。小規模なセットでは、信頼度は 80% まで低くなる可能性があります。バリアントの取引先担当者の件数が比較的少ない場合、テスト結果は決定的ではないと見なされる可能性があります。

つまり、A/B テストの優勢は、多くの取引先担当者を持つバリアントとは限りません。代わりに、優勢なバリアントは、統計学的に重要な結果を示します。
顧客体験の設定を完了し、本番リリースをします。

A/B テストのライフサイクルを監視する

与えられた電子メールメッセージに定義された各テストは、一度だけ実行できます。テストが顧客体験によって処理され始めるか、処理が完了すると、他の顧客体験で再び使用することができなくなります。その結果、顧客体験で電子メールタイルの A/B テストを設定しようと試みても、実行したいテストを選択できない場合があります。この場合、別のテストのみを追加できます。

電子メールメッセージで定義された各 A/B テストの実行ステータスを表示するには、メッセージを開いて A/B テスト パネルを展開します。メッセージに使用できる各テストは、次の見出しのいずれかにリストされます。各見出しには、各カテゴリでテストを表示または非表示にする展開/折りたたみボタンが含まれています。

下書き: これらはまだ実行されていないテストのため、顧客体験の電子メールタイルを構成するときに設定を編集して選択できます。
スケジュール済み: これらは顧客体験により実行されるように既に設定されているものの、まだ開始されていない体験です。この設定はロックされており、他の顧客体験で実行できません。
進行中: これらは現在実行されているテストです。この設定はロックされており、他の顧客体験で実行できません。
完了: これらは完了し、再利用できないテストです。結果を表示するには、テストを実行した顧客体験に移動します。

A/B テスト実行ステータスの表示。

テスト結果の検査

A/Bテストの進捗状況と結果は、顧客体験のメールタイルからいつでも確認することができます。それには、次を実行します。

顧客体験を開きます。
A/Bテストを実行している電子メールのタイルを選択します。
選択した電子メールタイルの データ パネルの下部までスクロールします。ここでは、テスト名、それぞれのバージョンを送信した対象者の割合 (優勢バージョンを含む)、テストの残り時間、優勢と選別されたデザイン (テストが終了している場合) が表示されます。
詳細を表示する リンクを選択すると、テストの結果に関する詳細情報が表示されます。ダイアログが開き、テストのそれぞれのデザインに対するKPIが表示されます。電子メールのKPIとそれらの開設については、インサイトの用語集を参照してください。

また、メッセージ自体を開いて、A/B テストの結果を確認できます。ここから、A/B テスト パネルを開き、テストの完了カテゴリを展開して、確認するテストのテストインサイト ボタンを選択します。

テストが完了したら、A バージョンを B バージョンに置き換えます。

A/B テストの結果にかかわらず、バージョン A は、メッセージの標準バージョンとして残ります。将来のテストはバージョン A に対してテストを続行し、A/B テストを実行しないすべての体験では、バージョン A が全員に送信されます。したがって、特にバージョン B がテストで成功する場合には、今後、B バージョンを新しい A バージョンとすることを検討できます。

注意

バージョン A とバージョン B を置き換える場合、バージョン A は完全に削除され、選択したテストからバージョン B に置き換えられます。これを元に戻すことはできません。

選択したテストからバージョン A をバージョン B に置き換えるには:

A/B テストが完了したメッセージを開きます。
A/B テスト パネルを展開して、テストのリストを表示します。
A/B テスト パネルで、テストの完了カテゴリを展開します。
新しい A バージョンにする B バージョンのテストを選択して、バージョン B に置換ボタンを選択します。
操作の確認を求められます。続行する場合は、確認して、メッセージを保存します。

次の方法で共有