実験の分析
実験の結果は、[実験の詳細とスコアカード] ページに表示されます。 スコアカードは一定の周期で作成されます。 最初のスコアカードは 12 時間後に作成され、その後、実験期間中は 24 時間ごとにスコアカードが作成されます。
[実験の詳細とスコアカード] ページには、実験名、説明、開始日と終了日、予定期間、対象プレーヤー、バリアント数が表示されます。 実験の状態に基づいて、[停止]、[実行]、[複製] などのアクションがページで利用可能になります。
実験が完了したら、[完了] タブ ビューを選択し、実験名を選択すると実験の詳細に合わせて [スコアカード] }が表示されます。 また、実験名を選択すると、実行中の実験のスコアカードと詳細が表示されます。
注意
SRM の詳細および解決方法については、「実験のベスト プラクティスと推奨事項」で不一致率のサンプルを参照してください
実験実行時は、以下のようになります。
- プレイヤー数、平均、デルタ、統計的有意性、P 値、P 移動、スタナード偏差のメトリックが生成されます
- 不一致率のサンプル (SRM) の問題が特定された場合は、ユーザーにフラグが立てられ、調査が行われます。
- SRM は無作為化にサンプリング バイアスがあることを示しており、バグがあればそれを解決するか、推定される影響に基づいて実験を直ちに中止するか、リスクを取って実験を継続させるかの選択肢が表示されます。
実験完了時
- 各メトリックの全体的な統計計算結果を分析に利用できます。
バリアントとそれに関連する変数、オーバーライドの詳細については、[構成] を選択すると、[実験の構成] ページ に詳細が表示されます。