Pruebas A/B en Dynamics 365 Customer Insights - Journeys

Customer Insights - Journeys utiliza potentes pruebas A/B para examinar los recorridos de los clientes basados en desencadenadores, lo que le permite obtener información sobre la mejor manera de llegar a sus clientes.

Con las pruebas A/B, puede medir qué canal o estrategia de mensajería de contenido conduce a un mayor éxito. Cada prueba compara un grupo de control de usuarios (versión A) con una variante (versión B). El grupo de control recibe una experiencia predeterminada. El grupo de variantes recibe una experiencia o mensaje diferente. Al comparar los resultados de los grupos, puede determinar cuál es el más eficaz.

Las pruebas A/B requieren una audiencia de tamaño significativo para ser efectivas. La ejecución de pruebas en audiencias de menos de 1000 personas puede producir resultados inesperados, como distribuciones desiguales en las variantes. La ejecución de pruebas en grupos extremadamente pequeños casi siempre produce distribuciones desproporcionadas. Por ejemplo, si tu audiencia solo tiene diez miembros, es posible que uno vaya a la variante A mientras que nueve vayan a la variante B. Este es el comportamiento esperado cuando el tamaño de la audiencia es tan pequeño que el modelo estadístico no tiene suficientes datos para alcanzar la distribución requerida.

Ejemplo 1: creación de una prueba A/B para viajes basados ​​en disparadores

Imagine que quiere probar dos correos electrónicos diferentes en un recorrido basado en desencadenadores que se activa cuando alguien completa una compra.

1. Cree su contenido inicial en el editor de correo electrónico, como de costumbre. Perfeccione el contenido y compruebe si hay errores para asegurarse de que pueda publicarse.
2. Cuando su contenido esté listo, vaya a Customer Insights - Journeys>Interacción>Recorridos y seleccione un recorrido existente o cree uno nuevo.
3. Después de seleccionar un recorrido, seleccione el signo más (+) para agregar un elemento y, a continuación, siga estos pasos:
   • Seleccione Probar qué variación se realiza mejor.

• Seleccione los canales que desee probar. En este ejemplo, desea probar dos correos electrónicos: seleccione uno para la versión A y otro para la versión B, luego seleccione Crear prueba.

1. Cuando selecciona el mosaico de prueba A/B, se abre el panel lateral.

   

   El panel contiene los siguientes parámetros:

• Nombre: para identificar su prueba, asígnele un nombre. Este nombre se muestra en el panel de pruebas A/B y en el análisis del recorrido del cliente cuando observa qué pruebas se están ejecutando.
• Versiones: elija el contenido para el canal que preparó en el paso uno (en este caso, los dos correos electrónicos que desea probar). Puede hacer esto a través de un menú desplegable seleccionando las ventanas secundarias en el generador de recorridos o haciendo una selección en el panel lateral.
• Público inicial: Este es el grupo de público que desea retener de la prueba A/B antes de obtener los resultados. Esta opción solo está disponible para recorridos basados en segmentos, puesto que ya tiene un número total de clientes que le ayudarán a decidir cuántos desea retener. Los recorridos basados ​​en disparadores no tienen esta opción ya que los clientes ingresan cuando completan una acción. Por lo tanto, se desconoce el número total de clientes que ingresan al viaje.
• Distribución del experimento: elija la distribución de público que desee. El control deslizante está automáticamente en 50-50, pero puede configurarlo a la distribución que desee. El mínimo que puede recibir una versión es el 10 % y el máximo es el 90 %. Recuerde que, tradicionalmente, la versión A es su grupo de control y la versión B es su variante.
• Métrica ganadora: establezca la condición ganadora para su prueba eligiendo una métrica ganadora: la versión con más eventos de objetivo de recorrido alcanzados, la mayor cantidad de clics o la mayor cantidad de aperturas. Para este caso, desea aumentar sus tasas de apertura, por lo que elegirá la opción de tasa de apertura.
• Esta prueba finaliza: elija entre finalizar la prueba automáticamente o en una fecha y hora específicas. Dejar que la prueba determine un ganador ocurre automáticamente cuando los resultados alcanzan significación estadística. Esto significa que una vez que se determina un ganador claro, el sistema envía la versión ganadora al resto de su audiencia. La versión perdedora se descarta. Si elige la significación estadística como una opción para finalizar la prueba A/B pero no hay un ganador claro después de 30 días, el sistema envía automáticamente la versión predeterminada. Si finaliza la prueba antes de tiempo, puede tardar hasta cuatro horas en liberar al grupo de control.
• Versión predeterminada: por último, elija una versión predeterminada, en caso de que la prueba no finalice correctamente. Si no se determina un ganador antes de la fecha límite especificada a través de la fecha y la hora, se envía automáticamente la versión predeterminada.

1. La prueba A/B debería tener este aspecto cuando configure todo y esté listo para publicar el viaje del cliente:

   

Ejemplo 2: creación de una prueba A/B para viajes basados ​​en segmento

Imagina que quieres crear un recorrido para dar la bienvenida a los nuevos miembros que se unieron a tu programa de fidelización este mes. Desea aumentar su tasa de apertura probando dos líneas de asunto diferentes.

Completará los pasos del uno al tres descritos en el primer ejemplo, pero notará que el panel lateral se ve diferente. Esto se debe a que, con los recorridos basados ​​en segmentos, tiene un número total de clientes para empezar; esto le permite crear dos tipos de pruebas A/B.

1. Prueba A/B sin grupo de control: esta prueba A/B se comporta de forma similar a los recorridos basados en activadores, en los que los clientes pasan por la prueba a medida que avanzan hasta que se determina un ganador.

   

2. Prueba A/B con un grupo de control: Esto le permite decirle al sistema exactamente cuántos clientes desea probar. Por ejemplo, si su segmento tiene 100 miembros del programa de fidelidad, primero puede probar con el 20 por ciento o 20 miembros donde cada versión recibe 10 miembros. Después de la prueba A/B, los 80 miembros restantes reciben la versión ganadora. Siempre puedes ajustar el audiencia inicial y la distribución a tu gusto.

   

Para este ejemplo, estamos usando una prueba A/B con un grupo de control. Todas las demás configuraciones son las mismas que en el ejemplo uno.

Supervisar el ciclo de vida de las pruebas de A/B

Una vez que haya publicado su viaje, puede abrirlo para realizar un seguimiento del ciclo de vida de sus pruebas.

• Borrador: estas pruebas aún no se han ejecutado, por lo que aún puede editar la configuración.
• En curso: estas pruebas se están ejecutando actualmente. La configuración está bloqueada y no puede realizar cambios significativos.
• Detenida: estas pruebas están detenidas y el especialista en marketing puede elegir qué versión enviar.
• Terminada: se trata de pruebas que se completaron al encontrar un ganador estadísticamente significativo o al agotarse el tiempo programado para finalizar en una fecha y hora establecidas. Las pruebas finalizadas no se pueden reutilizar.

Comprender sus resultados

La prueba A/B tiene tres posibles resultados:

• La prueba concluyó con un claro ganador: la prueba concluyó que una versión funciona mejor que la otra. La versión ganadora tiene una insignia de "ganador" y se distribuye a todos los clientes nuevos que atraviesan el recorrido.
• La prueba no fue concluyente: la prueba concluyó que los destinatarios tienen la misma probabilidad de interactuar con la versión A que con la versión B. En este caso, la versión predeterminada se envía a los nuevos clientes que atraviesan el recorrido.
• La prueba se detuvo: esto significa que usted o uno de sus compañeros de trabajo detuvo la prueba antes de que pudiera concluir. En este caso, la versión especificada por usted o su compañero de trabajo se envía a los nuevos clientes que atraviesan el recorrido.

Preguntas frecuentes

1. ¿Puedo tener una prueba A/B con más de dos versiones?
   • No, por el momento no.
2. ¿Por qué no veo la opción de grupo de control para viajes basados ​​en segmentos?
   • Si coloca una rama de atributo o cualquier mosaico que cambie el número total del segmento, la opción de grupo de control desaparece porque el sistema no sabe cuántos clientes retener hasta que se complete la prueba.
3. ¿Por qué mi prueba finaliza inesperadamente?
   • Si opta por finalizar la prueba con significación estadística, el sistema intenta obtener un ganador dentro de los primeros 30 días desde el momento en que publica el recorrido. Si ninguna versión es declarada ganadora, la prueba finaliza y la versión predeterminada se envía a los audiencia restantes.