kit de herramientas de Ciencia de datos: incrementalidad y Xandr

Medición de la incrementalidad

¿Cómo se mide la incrementalidad?

La idea básica de la medición de la incrementalidad es dividir a los usuarios en grupos de prueba y control y mostrar solo anuncios a los usuarios del grupo de pruebas. El objetivo es ver si los usuarios del grupo de pruebas gastan más dinero en los productos del anunciante que los usuarios que no estaban expuestos a anuncios.

Opciones de prueba de grupos de control

Hay varias opciones para las pruebas de grupo de control, cada una de ellas incluye distintos costos y grados de precisión.

• Banners de PSA : una manera de hacerlo es servir un banner de PSA/Charity al grupo Control, pero esta opción requiere gastar un porcentaje del presupuesto de la campaña en publicidad que no impulsará ningún resultado empresarial para usted o su anunciante.
• Grupo de exclusión : otra manera es crear arbitrariamente un grupo de audiencias de datos de primera entidad, que se dirigirá negativamente a la configuración de los elementos de línea y lo usará como grupo de control. Aunque no costará dinero, esta opción probablemente no conducirá a resultados muy precisos. Excluir el grupo de control impedirá la devolución de cualquier información de solicitud de puja, como dominio o dispositivo, lo que significa que podría ser difícil asegurarse de que la Grupos De prueba & Control sea estadísticamente similar.
• Pujas fantasma : un enfoque mejorado es no publicar un anuncio para el usuario, sino registrar que podríamos haberle servido un anuncio. A continuación, se puede realizar el análisis en el conjunto de datos resultante. Este es el mejor y el enfoque más preciso que permitirá a tu equipo de Ciencia de datos diseñar una prueba limpia y no requiere desperdiciar un porcentaje de tu presupuesto en banners de PSA.

Xandr ghost bidding y la fuente de incrementalidad

Xandr ofrece a los clientes con capacidades de ciencia de datos la capacidad de medir la incrementalidad. Proporcionamos el mecanismo de Invest para dividir un público en un grupo de prueba (el grupo expuesto a anuncios) y un grupo de control (el grupo no expuesto a anuncios). La prueba usa el mismo enfoque de segmentación y puja para cada grupo. Esto permite a los anunciantes analizar los ingresos generados por los usuarios de cada grupo para determinar la elevación incremental de los usuarios expuestos a anuncios. Proporcionamos los datos necesarios en una fuente de incrementalidad Log-Level que registra las subastas DSP ganadas por cada uno de los grupos de audiencias. En el caso de los grupos de control, la puja "ganadora" se extrae de la subasta para que el público no esté expuesto al anuncio. La fuente contiene una fila por impresión.

Segmentación de audiencia

Puede dividir el público de destino en un grupo de prueba y control mediante uno de estos dos métodos:

Aleatorio por Xandr

Este es el método predeterminado. Xandr divide el público de destino en grupos de prueba y control en función de la configuración que haya colocado en la sección Incrementalidad de la configuración del elemento de línea en Invest. Dicha configuración incluirá una clave personalizada que configurará, lo que permitirá a Xandr crear segmentos de usuario únicos para los grupos de prueba y control de forma determinista. Para una clave única, el público se distribuirá de forma única en grupos de prueba y control. Esto le permite porciones de audiencias de manera diferente para diferentes pruebas. Para tener la misma segmentación de usuario en diferentes elementos de línea, simplemente use la misma clave única.  La otra configuración es un porcentaje que determinará el número de usuarios que se incluirán en el grupo de control.  

Nota:

Establecer la misma clave en diferentes elementos de línea significa que se usarán los mismos grupos de prueba y control para estos elementos de línea.

¿Cómo configurar un elemento de línea para la incrementalidad?

1. Vaya a Incrementalidad de configuración > básica del elemento > de línea y seleccione "Usar grupo de control".
2. Asigne una clave y un porcentaje de usuarios para asignar al grupo de control.
   • Una clave puede ser cualquier cadena de caracteres y crea una segmentación de usuario única entre Grupos De prueba & Control. Puede establecer la misma clave en varios elementos de línea para asegurarse de que todos usan la misma segmentación de usuario; esto ayudará a garantizar que no haya contaminación cruzada entre los elementos de línea. Vea más abajo.
   • El porcentaje de grupo de control determinará el porcentaje de usuarios de destino que se encuentran en el grupo de control.

Controlado por el cliente

También puede optar por crear su propia agrupación de usuarios de prueba y control mediante un segmento creado previamente. Se trata de un único segmento que determina la prueba o el control mediante el campo del value segmento.

Nota:

Esta opción solo está disponible a través de la API de Xandr.

Se pueden usar los siguientes valores:

• Establezca el valor 0 en para crear un grupo de pruebas que recibirá anuncios como de costumbre.
• Establezca el valor 1 en o cualquier valor distinto de cero para crear un grupo de control. Esta configuración de segmento creará una fila en la fuente incrementalidad y, a continuación, pasará al siguiente resultado.

Para obtener más información sobre cómo trabajar con valores de segmento, consulte Servicio de segmentos de Batch.

Por qué las agrupaciones personalizadas son beneficiosas:

• Tiene su propio subconjunto del grupo de audiencias total de Xandr y quiere tener más supervisión sobre cómo se dividen los grupos de prueba y control.
• Tiene información sobre cómo los identificadores de cookies Xandr se asignan a consumidores individuales. Si Xandr no es consciente de esta asignación al determinar qué usuarios terminan en pruebas o controles, contaminaremos su medida con cookies que se cruzan entre pruebas y controles que deben alinearse con un consumidor asignado.

Consideraciones para planear pruebas de incrementalidad

Comenzar con una hipótesis bien enmarcada

Asegúrese de que está empezando con una hipótesis bien enmarcada. Las pruebas de incrementalidad deben realizarse para responder a una hipótesis sobre la elevación incremental de una campaña específica. Una hipótesis demasiado general no proporcionará resultados de pruebas adecuados y no le permitirá tener respuestas accionables a esos resultados.  

Minimizar la contaminación

La contaminación puede definirse como una situación en la que los usuarios del grupo de control se exponen involuntariamente a la publicidad. Minimizar la contaminación es fundamental para una prueba limpia. Al diseñar la prueba, tenga en cuenta lo siguiente para ayudar a minimizar la contaminación:

Asegúrese de que el grupo de control no está expuesto a compradores externos o DSP que ejecutan una campaña similar.

Es importante asegurarse de que los usuarios asignados al grupo de control de nuestra plataforma no estén expuestos a anuncios de compradores externos u otros DSP que ejecuten la misma campaña.

¿Cómo mitigar?

• El escenario ideal es asegurarse de que Xandr es el único DSP que ejecuta una campaña determinada. Es importante pensar en esto durante la planificación de pruebas y la configuración del grupo de control.
• Si no es posible aislar a los usuarios del grupo de control, considere la posibilidad de geovallar la campaña. Para ello, ejecute su campaña exclusivamente en Xandr en ciertas ubicaciones geográficas, mientras que otros compradores o DSP del plan tienen como destino una región diferente. Por ejemplo, si la campaña se va a ejecutar en el Estados Unidos, conceda exclusividad a Xandr en determinados estados y haga que otros compradores o DSP se ejecuten en los estados restantes.
  • ¿Cómo determinar qué geolocalizaciones a la barrera de anillo para garantizar que no haya sesgo en la prueba?
    En el ejemplo anterior, la recomendación sería seleccionar una lista de estados que tengan tasas de conversión similares a las Estados Unidos en general. Esto debe hacer que los resultados de la prueba de elevación sean representativos del Estados Unidos en su conjunto.

La campaña puede ejecutarse en otros canales

Es probable que el presupuesto de marketing de una campaña no se aísle de la actividad programática y que haya otros canales, como televisión, radio, búsqueda u otros que se utilicen para la campaña en particular. En esta situación, la incrementalidad es la medición del impacto de la campaña que estás probando, en el contexto de toda la publicidad relacionada. La elevación resultante será más pequeña, pero su análisis presentará una medición del mundo real.

¿Cómo mitigar?

Asegúrese de que la publicidad de "fondo" sea la misma para los grupos de prueba y control.

Contaminación cruzada de elementos de línea

Si la campaña tiene varios elementos de línea, por ejemplo, uno para prospección y otro para redestinación, es importante asegurarse de que no haya contaminación cruzada entre ellos.

¿Cómo mitigar?

Al establecer la misma clave en todos los elementos de línea de la prueba, se asegurará de que todos usen la misma segmentación de usuario, lo que hace imposible que un elemento de línea tenga como destino usuarios del grupo de control de un elemento de línea diferente.

Usuarios en varios dispositivos

Es importante tener en cuenta que la segmentación de usuarios aleatoria predeterminada no tiene en cuenta varios dispositivos. Esto significa que el mismo usuario puede estar tanto en una prueba como en un grupo de control en función del dispositivo que use.

¿Cómo mitigar?

• Si puede crear un gráfico entre dispositivos mediante datos de primera entidad, puede cargar su propia segmentación de usuarios a través de la API.
• Aplique su propio gráfico entre dispositivos retrospectivamente al limpiar los datos.
• También puede limitar la prueba a un solo tipo de dispositivo y suponer que una persona normalmente solo poseería un dispositivo del mismo tipo. Esta es la manera más intrusiva y probablemente tendrá un impacto en el rendimiento de la campaña.

Comparación eficaz de grupos de prueba y control

En las pujas fantasma, la aleatoriedad de los usuarios en grupos de prueba y control, ya sea por el cliente o por Xandr, se produce sin conexión antes de que se envíen las pujas. Esto significa que no todos los usuarios de prueba estarán expuestos a un anuncio y la parte de los usuarios expuestos a un anuncio en el grupo de pruebas está sujeta a un sesgo de victoria.

Ahora se puede considerar que el grupo de pruebas se divide en dos subconjuntos, que se exponen y no se exponen a un anuncio. En la tabla siguiente se proporciona un medio para clasificar los tres grupos.

Grupo de usuarios	Description
Grupo de controles (no expuesto)	Los usuarios que ves en la fuente de incrementalidad con is_control = 1 (nunca verías a estos usuarios en la fuente estándar, ya que tiramos de nuestras ofertas y no queremos realmente realizar transacciones de esas impresiones).
Grupo de pruebas (expuesto)	Los usuarios que ve en la fuente de incrementalidad con is_control = 0, que también están en la fuente estándar.
Grupo de pruebas (no expuesto)	Los usuarios que ve en la fuente de incrementalidad con is_control = 0, que no aparecen en la fuente estándar. No están en la fuente estándar porque no hemos realizado ninguna transacción con ellos. No terminamos ganando la oferta en algún lugar de la línea en una subasta. Esto podría deberse a diversos motivos, como que un comprador que usaba un DSP diferente lo ganara.

Nota:

Dado que probablemente no son estadísticamente similares, no se puede comparar simplemente:

• Grupo de pruebas (expuesto) frente a grupo de control (no expuesto).
• Grupo de pruebas (expuesto) frente a Grupo de control + Grupo de pruebas (no expuesto).

Por ejemplo, es probable que un usuario del grupo de pruebas (no expuesto) sea muy valioso para otros compradores. Esto significa que el sesgo de victoria podría producir una medida de elevación negativa si no se considera cuidadosamente.

¿Cómo asegurarse de que los grupos de prueba y control que se comparan son estadísticamente similares?

Por lo general, se recomienda hacer lo siguiente para asegurarse de que la Grupos Test & Control que está comparando sea estadísticamente similar. Tenga en cuenta cómo hacer que los grupos sean estadísticamente similares probablemente dependerá de su hipótesis, los objetivos que intenta lograr y el enfoque del equipo de ciencia de datos:

• Use datos históricos para identificar características, que se correlacionan altamente con los resultados deseados, por ejemplo, es posible que haya observado en el pasado que los usuarios en un dispositivo determinado y en un dominio determinado tienen muchas más probabilidades de convertirse de media.
• Tome un subconjunto de los usuarios expuestos y no expuestos para crear el grupo de prueba y control que va a comparar. Asegúrese de una distribución comparable de los usuarios que tienen estas características importantes en los grupos de prueba y control.

Matices de grupo de control

Al igual que sucede con los grupos de prueba que tienen algún porcentaje de sus usuarios que no recibirán anuncios, lo mismo ocurre con los miembros del grupo de control. Las ofertas retiradas podrían perderse en la subasta de bajada. Los registros de control reflejan qué usuarios podrían haber ganado, en lugar de lo que habrían ganado.

Para calcular el número de impresiones que el grupo de control habría ganado realmente, es posible que desee consultar la tasa de victorias para el grupo de pruebas.

Nota:

Xandr registra las pujas ganadoras en la subasta interna, pero hay casos en los que es posible ganar una subasta final sobre el precio, pero perder en otra métrica configurada por el editor. Esto significa que los usuarios de prueba tendrán impresiones que se ganaron en rangos inferiores (no todos los auction_ids en la fuente estándar se encontrarán en el incrementality_feed).

Puede ser útil revisar cómo funciona una subasta para un elemento de línea de incrementalidad:

1. Una ranura de anuncio en un explorador web envía una solicitud de puja.
   • La solicitud de puja se enriquece con datos contextuales y de usuario a través de ImpBus.
2. La solicitud de puja se envía a AppNexus Bidder y External Demand.
3. Se produce una subasta interna del licitador: todo li en la consola.
4. Si la oferta de una LI asociada a un segmento de incrementalidad es la clasificación de subasta superior, esta impresión se registra en la fuente de incrementalidad.
   • Si el usuario está en el grupo Control (1), la oferta se extrae de la lista de pujas.
   • Si el usuario está en el grupo Prueba (0), la puja continúa con normalidad.
5. Las pujas de prueba mejor clasificadas se envían a Imp Bus desde la consola y los licitadores externos responden a Imp Bus.
6. Imp Bus aplica las reglas de calidad de anuncios del vendedor y realiza una subasta final.
7. El anuncio se envía de vuelta a la página web
   • Si esta solicitud de anuncio procede de un suministro externo, el ganador se envía a un SSP donde se produce la verdadera subasta final.
8. Ad devuelve una señal de representación a Imp Bus.
9. La impresión se registra en standard_feed.

Piense en la importancia estadística

La importancia estadística es la probabilidad de que una relación entre dos o más variables se deba a algo distinto de la posibilidad. Use la significación estadística para determinar la plausibilidad de una hipótesis nula. Una hipótesis nula supone que cualquier diferencia entre las características elegidas que se ven en un conjunto de datos se debe al azar. Rechazar la hipótesis nula presenta un caso más sólido para su hipótesis.

Es importante pensar en los niveles de significancia estadística con los que se siente cómodo antes de la prueba. Esto le ayudará a hacerse una idea del número de impresiones que necesita para atender y a los usuarios a los que debe llegar.

Use los datos históricos para determinar qué características, como dominios o tipos de dispositivos, se correlacionan estadísticamente con una alta tasa de éxito (es decir, tasa de conversión).

Estas dos fórmulas pueden ayudarle a determinar la frecuencia de muestreo necesaria:

Prueba estadística

Una vez que reciba una métrica como una tasa de conversión para los grupos de control y de prueba, use una prueba T o una prueba Z para determinar si la diferencia de incrementalidad es estadísticamente significativa o no.

Siga estos pasos para determinar la diferencia de incrementalidad:

1. Calcule el valor T.
2. Obtenga el valor P del valor T.
3. Compare el valor P con el nivel de significancia predefinido α (normalmente establecido en 5%).

Tamaño de ejemplo necesario

El tamaño de muestra necesario para la aceptación o rechazo de la hipótesis nula para KPI, como la tasa de conversión o el número de conversión, depende de los parámetros siguientes.

• Desviación estándar de la variable de resultado.
• Efecto mínimo detectable (la diferencia mínima entre los KPI del grupo de pruebas y el grupo de control).
• Nivel deseado de significación estática α.
• Potencia deseada β.
• Tipo de la prueba: prueba de cola única o de dos colas.

Establecer el porcentaje del grupo de control

El porcentaje del grupo de control, independientemente de si se establece a través de la configuración de elemento de línea en Microsoft Invest o la API de la plataforma, no puede superar el 20 por ciento.  Se recomienda un porcentaje entre 10 y 20 para obtener mejores resultados.

Consideraciones adicionales

Comportamiento de optimización

Es importante comprender cómo la optimización puede comportarse de forma diferente entre las pujas para los grupos de prueba y control.

Dado que las pujas de los usuarios del grupo de control se han extraído y nunca han servido anuncios, las medidas de frecuencia y recencia siempre serán diferentes para ellos.  Esto significa que el modificador de cadencia se comportará de manera diferente entre los grupos de prueba y control. Consulte la imagen siguiente para obtener información general sobre cómo afecta el modificador de cadencia al valor de la oferta.

¿Cómo mitigar?

• Use modelos personalizados para invalidar el modificador de cadencia y establecerlo en uno. Esto garantizará el mismo comportamiento de puja para los grupos de prueba y control.
• Use una oferta plana para su prueba y optimice manualmente.

Nota:

Estos enfoques pueden afectar potencialmente al rendimiento de la campaña.

Vendedores excluidos

Actualmente no podemos ejecutar pruebas de incrementalidad en el inventario de Verizon y MoPub , por lo que los siguientes identificadores de miembro del vendedor deben excluirse en el destino de Line Item:

Nombre del vendedor	Id. de vendedor
MoPub	1813
Verizon Media (pantalla de O&O)	273
Verizon Media (vídeo de O&O)	11665
Verizon Media Exchange	11664
Verizon Media Video Exchange	3292