次の方法で共有

Data Science ツールキット - 増分と Xandr

  • [アーティクル]

増分の測定

増分はどのように測定されますか?

増分を測定する基本的な考え方は、ユーザーをテスト グループとコントロール グループに分割し、テスト グループ内のユーザーにのみ広告を表示することです。 目標は、テスト グループのユーザーが、広告に公開されなかったユーザーよりも広告主の製品に多くの費用を費やしているかどうかを確認することです。

増分の測定方法を示すスクリーンショット。

コントロール グループのテスト オプション

制御グループのテストにはいくつかのオプションがあり、それぞれにさまざまなコストと精度が付属しています。

  • PSA バナー - これを行う方法の 1 つは、コントロール グループに PSA/チャリティ バナーを提供することですが、このオプションでは、キャンペーン予算の一部を広告に費やす必要があります。これにより、ビジネス成果や広告主の業績が低下することはありません。
  • ホールドアウト グループ - もう 1 つの方法は、ファースト パーティのデータ対象ユーザー グループを任意に作成することです。これは、広告申込情報の設定で否定的なターゲットを設定し、コントロール グループとして使用します。 コストをかからなくても、このオプションは非常に正確な結果につながる可能性は高くないでしょう。 コントロール グループを除外すると、ドメインやデバイスなどの入札要求情報が返されなくなります。つまり、テスト & コントロール グループが統計的に類似していることを確認することが困難になる可能性があります。
  • ゴースト入札 - 改善されたアプローチは、ユーザーに広告を配信するのではなく、広告を配信できたことをログに記録することです。 その後、結果のデータ セットに対して分析を実行できます。 これは、Data Scienceチームがクリーンテストを設計し、PSAバナーの予算の一部を無駄にする必要がない最高かつ最も正確なアプローチです。

Xandr ゴースト入札と増分フィード

Xandr は、データ サイエンス機能を持つクライアントに増分を測定する機能を提供します。 「投資」では、対象ユーザーをテスト グループ (広告に公開されているグループ) とコントロール グループ (広告に公開されていないグループ) に分割するメカニズムを提供します。 テストでは、グループごとに同じターゲット設定と入札方法が使用されます。 これにより、広告主は、各グループのユーザーが主導する収益を分析して、広告に公開されているユーザーからの増分リフトを決定できます。 各対象ユーザー グループによって獲得された DSP オークションをログに記録する Log-Level インクリメンタルフィードに必要なデータを提供します。 コントロール グループの場合は、対象ユーザーが広告に公開されないように、"落札" 入札がオークションから引き出されます。 フィードには、インプレッションごとに 1 行が含まれています。

対象ユーザーのセグメント化

ターゲットの対象ユーザーを、次の 2 つの方法のいずれかでテストおよび制御グループに分割できます。

Xandr によってランダム化

これが既定の方式です。 Xandr は、Invest の [広告申込情報の設定] の [増分] セクションに設定した設定に基づいて、対象ユーザーをテストグループと制御グループに分割します。 これらの設定には、設定したカスタム キーが含まれます。これにより、Xandr は、決定的な方法でテスト グループと制御グループの一意のユーザー セグメントを作成できます。 一意のキーの場合、対象ユーザーはテスト グループとコントロール グループに一意に分散されます。 これにより、テストごとに対象ユーザーを異なる方法で分け合うことができます。 異なる明細に対して同じユーザーセグメント化を行う場合は、同じ一意キーを使用します。  もう 1 つの設定は、コントロール グループに含まれるユーザーの数を決定する割合です。  

注:

異なる明細に同じキーを設定すると、これらの明細に同じテストグループと制御グループが使用されます。

増分のために行項目を設定する方法

  1. [Line Item Basic Setup Incrementality]\(行項目>の基本的なセットアップ>の増分\) に移動し、[コントロール グループを使用する] を選択します。
  2. コントロール グループに割り当てるキーとユーザーの割合を割り当てます。
    • キーには任意の文字列を指定でき、テスト & コントロール グループ間に一意のユーザー セグメント化を作成します。 複数の明細で同じキーを設定して、すべてが同じユーザーセグメント化を使用するようにすることができます。これにより、明細間のクロスコンタミネーションが確実に行われません。 詳細については、以下を参照してください。
    • コントロール グループの割合は、コントロール グループに含まれる対象ユーザーの割合を決定します。

クライアント制御

また、事前に作成されたセグメントを使用して、テストユーザーと制御ユーザーの独自のグループ化を作成することもできます。 これは、セグメントのフィールドを使用してテストまたは制御を決定する 1 つのセグメント value です。

注:

このオプションは Xandr API でのみ使用できます。

次の値を使用できます。

  • 値を に 0 設定して、通常どおり広告を配信するテスト グループを作成します。
  • 値を に 1 設定するか、0 以外の値を設定して、コントロール グループを作成します。 このセグメント設定は、増分フィードに行を作成し、次の結果にスキップします。

セグメント値の操作の詳細については、「 Batch Segment Service」を参照してください。

カスタム グループが有益な理由:

  • Xandr 合計対象ユーザー プールの独自のサブセットがあり、テスト グループとコントロール グループの分割方法をより詳しく監視する必要があります。
  • Xandr Cookie ID が個々のコンシューマーにマップされる方法に関する分析情報があります。 テスト/制御で終了するユーザーを特定するときに Xandr がこのマッピングを認識できない場合は、マッピングされたコンシューマーに合わせて調整する必要があるテスト/コントロールからクロスする Cookie で測定を汚染します。

増分テストの計画に関する考慮事項

適切なフレームの仮説から始める

適切にフレーム化された仮説から始めていることを確認します。 特定のキャンペーンの増分リフトに関する仮説に答えるために、増分性のテストを行う必要があります。 一般的すぎる仮説では、適切なテスト結果が提供されず、それらの結果に対して実用的な応答を得られない。  

汚染を最小限に抑える

汚染は、コントロール グループ内のユーザーが意図せずに広告にさらされる状況として定義できます。 クリーンテストでは、汚染を最小限に抑えることが重要です。 テストを設計するときは、汚染を最小限に抑えるために次の点を考慮してください。

同様のキャンペーンを実行している外部購入者または DSP にコントロール グループが公開されていないことを確認する

プラットフォーム内のコントロール グループに割り当てられているユーザーが、外部購入者や同じキャンペーンを実行している他の DSP からの広告に公開されないようにすることが重要です。

軽減する方法

  • 理想的なシナリオは、Xandr が特定のキャンペーンを実行している唯一の DSP であることを確認することです。 これは、テストの計画と制御グループのセットアップ中に考慮することが重要です。
  • コントロール グループ内のユーザーを分離できない場合は、キャンペーンのジオフェンスを検討してください。 これを行うには、特定の地理的な場所の Xandr でのみキャンペーンを実行し、プランの他の購入者/DSP は別のリージョンをターゲットにします。 たとえば、キャンペーンが米国で実行される場合は、特定の状態で Xandr に排他性を与え、他の購入者/DSP を残りの状態で実行させます。
    • テストでバイアスを確保するためにリングフェンスにどの位置情報を決定する方法ですか?
      上記の例では、一般的な米国と同様のコンバージョン率を持つ状態の一覧を選択することをお勧めします。 これにより、米国全体のリフトテスト代表の結果が得られます。

キャンペーンは他のチャネルで実行される場合があります

キャンペーンのマーケティング予算がプログラム活動に分離されず、テレビ、ラジオ、検索などの他のチャネルが特定のキャンペーンに利用される可能性があります。 このような状況では、インクリメンタルは、関連するすべての広告のコンテキストで、テストしているキャンペーンの影響を測定することです。 結果として得られるリフトは小さくなりますが、分析によって実際の測定値が表示されます。

軽減する方法

"バックグラウンド" 広告がテスト グループとコントロール グループで同じであることを確認します。

品目間汚染

キャンペーンに複数の広告申込情報 (たとえば、プロスペクティング用と再ターゲット用) がある場合は、それらの間にクロスコンタミネーションがないようにすることが重要です。

軽減する方法

テスト内のすべての行項目で同じキーを設定すると、すべて同じユーザー セグメント化が使用され、1 つの行項目が別の行項目のコントロール グループ ユーザーをターゲットにできなくなります。

複数のデバイス上のユーザー

既定のランダム化されたユーザー セグメント化では、複数のデバイスが考慮されないことに注意してください。 これは、同じユーザーが使用しているデバイスに応じて、テストと制御グループの両方に存在できることを意味します。

軽減する方法

  • ファースト パーティのデータを使用してクロスデバイス グラフを作成できる場合は、API を使用して独自のユーザー セグメント化をアップロードできます。
  • データをクリーンアップするときに、独自のクロスデバイス グラフを振り返って適用します。
  • また、テストを 1 つのデバイスの種類のみに制限し、通常、1 人のユーザーが同じ種類のデバイスのみを所有すると仮定することもできます。 これは最も侵入的な方法であり、キャンペーンのパフォーマンスに影響を与える可能性があります。

テスト グループと制御グループを効果的に比較する

ゴースト入札では、クライアントまたは Xandr によるテストおよび制御グループへのユーザーのランダム化は、入札が送信される前にオフラインで行われます。 つまり、すべてのテスト ユーザーが広告に公開されるわけではありません。また、テスト グループ内の広告に公開されているユーザーの部分には、Win バイアスが適用されます。

テスト グループは、2 つのサブセットに分割され、公開され、広告に公開されていないと考えることができるようになりました。 次の表に、3 つのグループを分類する方法を示します。

ユーザー グループ 説明
コントロール グループ (公開されていません) インクリメンタル フィード is_control = 1 に表示されるユーザー (これらのユーザーは Standard フィードに表示されません。入札を引き出し、実際にこれらのインプレッションを処理する必要はありません)。
テスト グループ (公開) を使用 is_control = 0した増分フィードに表示されるユーザー。このユーザーは Standard フィードにも含まれます。
テスト グループ (公開されていません) を使用した増分フィード is_control = 0に表示されるユーザー。Standard フィードに表示されないユーザー。 これらは標準フィードに含まれていません。これは、それらの入力情報を処理していないためです。 私たちはオークションのどこかで入札を勝ち取りませんでした。 これは、別のDSPを使用するバイヤーが勝ったなど、さまざまな理由で発生する可能性があります。

注:

これらは統計的に類似していない可能性があるため、比較することはできません。

  • テスト グループ (公開) とコントロール グループ (公開されていません)。
  • テスト グループ (公開) とコントロール グループ + テスト グループ (公開されていません)。

たとえば、テスト グループ (公開されていない) のユーザーは、他の購入者にとって非常に価値が高い可能性があります。 これは、慎重に検討しないと、勝利バイアスによって負のリフト測定が生成される可能性があることを意味します。

比較するテスト グループと制御グループが統計的に類似していることを確認する方法

一般に、比較するテスト & コントロール グループが統計的に類似していることを確認するには、次の手順を実行することをお勧めします。 グループを統計的に類似させる方法は、仮説、達成しようとしている目標、データ サイエンス チームのアプローチによって異なります。

  • 履歴データを使用して、目的の結果と高度に関連付けられている機能を特定します。たとえば、過去に、特定のデバイスや特定のドメインのユーザーが平均して変換する可能性がはるかに高いと思われる場合があります。
  • 公開されているユーザーと露出していないユーザーのサブセットを使用して、比較するテストと制御グループを作成します。 テスト グループとコントロール グループの両方で、これらの重要な機能を持つユーザーの同等の分布を確認します。

コントロール グループのニュアンス

広告が配信されないユーザーの割合を持つテスト グループと同様に、コントロール グループのメンバーにも同じことが当てはまります。 取り下げられた入札は、下流のオークションで失われる可能性があります。 コントロール ログには、勝ったユーザーではなく、どのユーザーが獲得できたかが反映されます。

コントロール グループが実際に獲得したインプレッション数を見積もるには、テスト グループの Win Rate に関する説明を参照してください。

注:

Xandr は、内部オークションで落札をログに記録しますが、価格で最終的なオークションに勝つことはできるが、発行元によって設定された別のメトリックで負ける場合があります。 つまり、テスト ユーザーは低ランクで獲得されたインプレッションを持つことになります (標準フィードのすべてのauction_idsがincrementality_feedに見つかるわけではありません)。

インクリメンタルアイテムのオークションのしくみを確認すると役立つ場合があります。

  1. Web ブラウザーの広告スロットから入札要求が送信されます。
    • 入札要求は、ImpBus を介してユーザーとコンテキスト データでエンリッチされます。
  2. 入札要求は AppNexus Bidder と外部需要に送信されます。
  3. 入札者の内部オークションが行われる - コンソール上のすべてのLI。
  4. 増分セグメントに関連付けられている LI からの入札が上位のオークション ランクである場合、このインプレッションは増分フィードに記録されます
    • ユーザーがコントロール グループ (1) に含まれている場合、入札は入札リストから引き出されます
    • ユーザーがテスト グループ (0) に含まれている場合、入札は通常どおり続行されます
  5. 上位ランクのテスト入札はコンソールから Imp Bus に送信され、外部入札者は Imp Bus に応答します。
  6. Imp Bus は販売者の広告品質ルールを適用し、最終的なオークションを開催します。
  7. 広告が Web ページに返送される
    • この広告リクエストが外部供給から送信された場合、当選者は真の最終オークションが行われる SSP に送信されます
  8. 広告はレンダリング信号を Imp Bus に送信します。
  9. インプレッションはstandard_feedに記録されます。

統計的有意性について考える

統計的有意性は、2 つ以上の変数間の関係が偶然以外のものによって引き起こされる可能性です。 統計的有意性を使用して、帰無仮説の妥当性を判断します。 帰無仮説は、一連のデータに表示される選択された特性の違いは、偶然によるものであると仮定します。 帰無仮説を棄却すると、仮説に対してより強力なケースが提示されます。

テストの前に、慣れている統計的有意水準を考慮することが重要です。 これは、サービスを提供する必要があるインプレッション数とユーザーが到達する必要があるインプレッションの数を把握するのに役立ちます。

履歴データを使用して、ドメインやデバイスの種類など、どの機能が高い成功率 (つまりコンバージョン率) と統計的に相関するかを判断します。

これら 2 つの数式は、必要なサンプル レートを決定するのに役立ちます。

サンプル レートの図 - 1。

サンプル レートの図 - 2。

統計テスト

制御グループとテスト グループの両方に対する変換率などのメトリックを受け取ったら、T 検定または Z 検定を使用して、増分差が統計的に有意かどうかを判断します。

増分の違いを判断するには、次の手順に従います。

  1. T 値を計算します。
  2. T 値の P 値を取得します。
  3. P 値を定義済みの有意水準α (通常は 5% に設定) と比較します。

必要なサンプル サイズ

KPI の帰無仮説の受け入れ/却下に必要なサンプル サイズ (換算率や換算番号など) は、次のパラメーターによって異なります。

  • 結果変数の標準偏差。
  • 検出可能な最小効果 (テスト グループと制御グループの KPI の最小差)。
  • 静的有意性の望ましいレベルα。
  • 目的の電力β。
  • テストの種類: 1 尾または 2 尾のテスト。

コントロール グループの割合の設定

コントロール グループの割合は、Microsoft Invest の [行項目] 設定またはプラットフォームの API を使用して設定される場合でも、20% を超えることはできません。  最適な結果を得るには、10 ~ 20 の割合をお勧めします。

その他の考慮事項

最適化動作

テストグループと制御グループの入札の間で最適化がどのように異なる動作をするかを理解することが重要です。

コントロール グループユーザーの入札はプルされ、広告を配信したことがないため、 頻度とレジェンシー の測定値は常に異なります。  つまり、ケイデンス修飾子は、テスト グループとコントロール グループ間で動作が異なります。 ケイデンス修飾子が入札価格に与える影響の概要については、次の図を参照してください。

ケイデンス修飾子が入札価格にどのように影響するかを示す図。

軽減する方法

  • カスタム モデルを使用してケイデンス修飾子をオーバーライドし、1 に設定します。 これにより、テスト グループとコントロール グループの両方で同じ入札動作が保証されます。
  • テストに対してフラット入札を使用し、手動で最適化します。

注:

これらのアプローチは、キャンペーンのパフォーマンスに影響を与える可能性があります。

除外された販売者

現在、 Verizon と MoPub のインベントリで増分テストを実行できないため、次の販売者メンバー ID を広告申込情報のターゲティングで除外する必要があります。

販売者名 販売者 ID
MoPub 1813
Verizon Media (O&O Display) 273
Verizon Media (O&O ビデオ) 11665
Verizon Media Exchange 11664
Verizon Media Video Exchange 3292