Testes A/B no Dynamics 365 Customer Insights - Journeys

O Customer Insights - Journeys usa poderosos testes A/B para examinar os seus percursos de cliente baseados em acionadores, permitindo que obtenha informações sobre a melhor forma de alcançar os seus clientes.

Ao utilizar testes A/B, pode medir qual o canal ou a estratégia de mensagens de conteúdo que leva a um maior sucesso. Cada teste compara um grupo de controlo de utilizadores (versão A) com uma variante (versão B). O grupo de controlo recebe uma experiência predefinida. O grupo de variante recebe uma experiência ou mensagem diferente. Comparando os resultados dos grupos, pode determinar qual é o mais eficaz.

Os testes A/B requerem uma audiência de tamanho significativo para serem eficazes. A execução de testes em audiências inferiores a 1.000 pode produzir resultados inesperados, como distribuições desiguais nas variantes. A execução de testes em grupos extremamente pequenos quase sempre produz distribuições desproporcionais. Por exemplo, se o seu público tiver apenas dez membros, é possível que um vá para a variante A, enquanto nove vão para a variante B. Este é um comportamento esperado quando o tamanho da audiência é tão pequeno que o modelo estatístico não tem dados suficientes para alcançar a distribuição necessária.

Exemplo 1: Criar um teste A/B para percursos baseados em acionadores

Imagine que deseja testar dois e-mails diferentes num percurso baseado em acionadores que é ativado quando alguém conclui uma compra.

1. Crie o seu conteúdo inicial no editor de e-mail, como habitualmente. Aperfeiçoe o conteúdo e verifique se tem erros para garantir que pode ser publicado.
2. Quando o seu conteúdo estiver pronto, aceda a Customer Insights - Journeys>Interação>Percursos e selecione um percurso existente ou crie um novo.
3. Depois de selecionar uma viagem, selecione o sinal de mais (+) para adicionar um elemento e siga estas etapas:
   • Selecione Testar que variação tem um melhor desempenho.

• Selecione os canais que deseja testar. Neste exemplo, pretende testar dois e-mails: selecione um para a versão A e outro para a versão B e, em seguida, selecione Criar teste.

1. Quando seleciona o mosaico do teste A/B, é aberto o painel lateral.

   

   O painel contém os seguintes parâmetros:

• Nome a apresentar: para identificar o seu teste, introduza um nome para ele. Este nome é exibido no painel de teste A/B e na análise do percurso do cliente quando analisa que testes estão em execução.
• Versões: escolha o conteúdo para o canal que preparou na etapa um (neste caso, os dois e-mails que deseja testar). Pode fazê-lo através de uma lista pendente, selecionando os mosaicos subordinados no estruturador de percursos ou criando uma seleção no painel lateral.
• Audiência inicial: este é o grupo de audiência que deseja reter do teste A/B antes de obter os resultados. Esta opção só está disponível para percursos baseados em segmentos, uma vez que já tem um número total de clientes para o ajudar a decidir quantos deseja reter. Os percursos baseados em percursos não têm esta opção, uma vez que os clientes entram quando concluem uma ação. Como tal, o número total de clientes que entram no local é desconhecido.
• Distribuição experimental: escolha a distribuição de audiência desejada. O controlo de deslize está automaticamente em 50-50, mas pode defini-lo para a distribuição pretendida. O mínimo que uma versão pode receber é de 10 por cento e o máximo é de 90 por cento. Lembre-se que, tradicionalmente, a versão A é o seu grupo de controlo e a versão B é a sua variante.
• Métrica vencedora: defina a condição de vitória para o seu teste escolhendo uma métrica vencedora: a versão com mais eventos de objetivo de percurso atingidos, mais cliques ou mais aberturas. Neste caso, pretende aumentar as taxas de abertura, para que escolha a opção de taxa de abertura.
• Este teste termina: escolha entre terminar o teste automaticamente ou numa data e hora específicas. Deixar o teste determinar um vencedor ocorre automaticamente quando os resultados atingem significância estatística. Isto significa que, uma vez determinado um vencedor claro, o sistema envia a versão vencedora para o resto da sua audiência. A versão que perdeu é rejeitada. Se escolher a opção de significância estatística para terminar o teste A/B, mas não houver vencedor claro após 30 dias, o sistema envia automaticamente a versão predefinida. Se terminar o teste mais cedo, pode levar até quatro horas para libertar o grupo de controlo.
• Versão predefinida: por último, escolha uma versão predefinida, no caso de o teste não terminar com sucesso. Se um vencedor não for determinado pelo prazo especificado através da data e hora, a versão padrão é enviada automaticamente.

1. O teste A/B deve ter esta aparência quando configurar tudo e estiver pronto para publicar o percurso:

   

Exemplo 2: Criar um teste A/B para percursos baseados em segmentos

Imagine que quer criar um percurso para receber novos membros que aderiram ao seu programa de fidelidade este mês. Pretende aumentar a sua taxa de abertura ao testar duas linhas de assunto diferentes.

Concluirá os passos um a três descritos no primeiro exemplo, mas irá reparar que o painel lateral tem um aspeto diferente. Isto porque, com percursos baseados em segmentos, tem um número total de clientes com que começar; isto permite-lhe criar dois tipos de testes A/B.

1. Teste A/B sem grupo de controlo: Este teste A/B comporta-se de forma semelhante aos percursos baseados em acionadores, em que os clientes passam pelo teste à medida que chegam até que um vencedor seja determinado.

   

2. Teste A/B com um grupo de controlo: isto permite-lhe dizer ao sistema exatamente quantos clientes deseja testar. Por exemplo, se o seu segmento tem 100 membros fidelizados, pode primeiro testar em 20% ou 20 membros, onde cada versão recebe 10 membros. Após o teste A/B, os restantes 80 membros recebem a versão vencedora. Pode sempre ajustar a audiência inicial a distribuição como pretender.

   

Para este exemplo, estamos a usar um teste A/B com um grupo de controlo. Todas as outras definições são iguais às do exemplo um.

Monitorizar o ciclo de vida dos testes A/B

Depois de publicar o percurso, poderá abri-lo para monitorizar o ciclo de vida dos seus testes.

• Rascunho: estes testes ainda não foram executados, pelo que ainda pode editar as definições.
• Em curso: estes testes estão a ser executados. As definições estão bloqueadas e não é possível fazer alterações significativas.
• Parado: esses testes são interrompidos e o profissional de marketing pode escolher que versão enviar.
• Terminado: estes testes foram concluídos encontrando um vencedor estatisticamente significativo ou por limite de tempo atingido quando agendado para terminar numa data e hora definidas. Não é possível reutilizar testes terminados.

Compreenda os seus resultados

Existem três saídas de resultados possíveis do teste A/B:

• Teste concluído com um vencedor claro: o teste concluiu que uma versão está a ter um desempenho melhor do que a outra. A versão vencedora tem um crachá "vencedor" e é distribuída a quaisquer novos clientes que passem pelo percurso.
• O teste não foi conclusivo: o teste concluiu que os destinatários são tão propensos a serem cativados com a versão A como com a versão B. Neste caso, a versão predefinida é enviada para quaisquer novos clientes que passem pelo percurso.
• O teste foi parado: isto significa que você ou um dos seus colegas parou o teste antes que pudesse ser concluído. Neste caso, a versão especificada por si ou pelo seu colega de trabalho é enviada para quaisquer novos clientes que passem pelo percurso.

FAQ

1. Posso ter um teste A/B com mais do que duas versões?
   • Não neste momento.
2. Porque é que não vejo a opção de grupo de controlo para percursos baseados em segmentos?
   • Se colocar um ramo de atributo ou qualquer mosaico que altere o número total do segmento, a opção de grupo de controlo desaparece porque o sistema não sabe quantos clientes reter até que o teste seja concluído.
3. Porque é que o meu teste termina inesperadamente?
   • Se optar por terminar o teste com significância estatística, o sistema tenta obter um vencedor nos primeiros 30 dias a partir do momento em que publica o percurso. Se nenhuma das versões for declarada como vencedora, o teste termina e a versão predefinida é enviada para a audiência restante.