Testes A/B no Dynamics 365 Customer Insights - Journeys

O Customer Insights - Journeys usa poderosos testes A/B para examinar as jornadas do cliente baseadas em gatilho, permitindo que você obtenha insights sobre a melhor forma de alcançar seus clientes.

Usando testes A/B, você poderá medir qual canal ou estratégia de mensagem de conteúdo leva a um maior êxito. Cada teste compara um grupo de controle de usuários (versão A) com uma variante (versão B). O grupo de controle recebe uma experiência padrão. O grupo de variantes recebe uma experiência ou mensagem diferente. Ao comparar os resultados dos grupos, você poderá determinar qual é o mais eficaz.

Exemplo 1: criação de um teste A/B para jornadas baseadas em gatilho

Vamos imaginar que você queira testar dois emails diferentes em uma jornada baseada em gatilho ativada quando alguém conclui uma compra.

1. Crie seu conteúdo inicial no editor de email, como sempre. Aperfeiçoe o conteúdo e verifique se há erros para garantir que ele possa entrar em produção.

2. Quando seu conteúdo estiver pronto, acesse Customer Insights - Journeys>Envolvimento>Jornadas e selecione uma jornada existente ou crie uma nova.

3. Depois de selecionar uma jornada, selecione o sinal de adição (+) para adicionar um elemento e faça o seguinte:

   • Selecione Testar qual variação apresenta o melhor desempenho.
   • Selecione os canais que você deseja testar. Neste exemplo, você deseja testar dois emails: selecione um para a versão A e outro para a versão B e escolha Criar teste.

4. Quando você seleciona o bloco de teste A/B, o painel lateral é aberto.

   

   O painel contém os seguintes parâmetros:

   • Nome em exibição: para identificar seu teste, insira um nome para ele. Esse nome é exibido no painel de teste A/B e na análise da jornada do cliente quando você observa quais testes estão sendo executados.
   • Versões: escolha o conteúdo do canal preparado na primeira etapa (neste caso, os dois emails que você deseja testar). Você pode fazer isso por meio de uma lista suspensa selecionando os blocos filhos no criador de jornada ou fazendo uma seleção no painel lateral.
   • Público Inicial: este é o grupo do público que você gostaria de evitar no teste A/B antes de obter os resultados. Esta opção só está disponível para percursos segmentados, pois você já tem um número total de clientes para ajudar a decidir quantos deseja reter. As jornadas baseadas em gatilho não têm essa opção, pois os clientes entram quando concluem uma ação. Assim, o número total de clientes que entram na jornada é desconhecido.
   • Distribuição do experimento: escolha a distribuição do público-alvo desejada. O controle deslizante está automaticamente em 50-50, mas você pode definir o controle deslizante para a distribuição desejada. O mínimo que uma versão pode receber é 10% e o máximo é 90%. Lembre-se de que, tradicionalmente, a versão A é o seu grupo de controle e a versão B é a sua variante.
   • Métrica vencedora: você pode definir a condição de vitória para seu teste escolhendo uma métrica vencedora: a versão com o maior número de ocorrências de eventos de meta de jornada, mais cliques ou mais aberturas. Nesse caso, convém aumentar as taxas de abertura, logo, você escolherá a opção da taxa de abertura.
   • Este teste termina: você também pode escolher entre terminar o teste automaticamente ou em uma data e hora específicas. Permissão para que o teste determine automaticamente um vencedor quando os resultados alcançam significância estatística. Isso significa que, assim que um vencedor claro é determinado, o sistema envia a versão vencedora para o resto do público-alvo. A versão perdedora será descartada. Se você escolher a significância estatística como uma opção para encerrar o teste A/B, mas não houver um vencedor claro depois de 30 dias, o sistema enviará automaticamente a versão padrão.
   • Versão padrão: por último, escolha uma versão padrão; no caso, o teste não termine com êxito. Nos casos em que um vencedor não tiver sido determinado no prazo até a data e hora especificadas, a versão padrão será enviada automaticamente.

5. O teste A/B deve ter esta aparência quando você configurar tudo e tudo estiver pronto para publicar o percurso:

   

Exemplo 2: criação de um teste A/B para jornadas baseadas em segmento

Vamos imaginar que você queira criar um percurso para dar as boas-vindas aos novos membros que ingressaram ao programa de fidelidade neste mês. Convém aumentar a taxa de abertura testando duas linhas de assunto diferentes.

Você concluirá as etapas de um a três descritas no primeiro exemplo, mas notará que o painel lateral parece diferente. Isso ocorre porque, com percursos baseados em segmento, você tem um número total de clientes para começar; isso permite a você criar dois tipos de testes A/B.

1. Teste A/B sem grupo de controles: este teste A/B se comporta de maneira semelhante a percursos baseados em gatilhos nos quais os clientes passam pelo teste à medida que chegam até que um vencedor seja determinado.

   

2. Teste A/B com um grupo de controles: permite a você dizer exatamente ao sistema em quantos clientes você deseja testar. Por exemplo, o segmento tem 100 membros de fidelidade, logo, você deseja primeiro testar em 20 por cento, ou 20 membros, em que cada versão receberá 10 membros, respectivamente. Depois do teste A/B, os 80 membros restantes receberão a versão vencedora. Você sempre pode ajustar o público-alvo inicial e a distribuição de acordo com sua preferência.

   

Para este exemplo, faremos um teste A/B com um grupo de controles. Todas as outras configurações são iguais às do exemplo um.

Monitore o ciclo de vida de seus testes A/B

Depois de publicar a jornada, você poderá abri-la para acompanhar o ciclo de vida dos testes.

• Rascunho: esses testes ainda não foram executados; então, você ainda pode editar as configurações.
• Em andamento: esses testes estão sendo executados no momento. As configurações estão bloqueadas e você não pode fazer alterações significativas.
• Parado : esses testes são interrompidos e o comerciante pode escolher qual versão enviar.
• Terminado: esses testes foram concluídos ao encontrar um vencedor estatisticamente significativo ou ao atingir o tempo limite quando programado para terminar em uma data e hora definidas. Os testes encerrados não podem ser reutilizados.

Entenda seus resultados

Existem três resultados de resultados de teste A/B possíveis:

• Teste concluído com um vencedor claro: o teste concluiu que uma versão tem um desempenho melhor do que a outra. A versão vencedora tem um emblema de "vencedor" e é distribuída a todos os novos clientes que passam pela jornada.
• O teste não foi conclusivo: o teste concluiu que os destinatários estão tão propensos a se envolver com a versão A quanto com a versão B. Nesse caso, a versão padrão é enviada a todos os novos clientes que passam pela jornada.
• O teste foi parado: isso significa que você ou um de seus colegas de trabalho parou o teste antes que ele pudesse ser concluído. Nesse caso, a versão especificada por você ou seu colega de trabalho é enviada a todos os novos clientes que afunilam pela jornada.

Perguntas frequentes

1. Posso ter um teste A/B com mais de duas versões?
   • Não no momento.
2. Por que não estou vendo a opção do grupo de controles para percursos segmentados?
   • Se você colocar uma ramificação de atributo ou qualquer bloco que altere o número total do segmento, a opção do grupo de controles vai desaparecer porque o sistema não saberá quantos clientes manter até que o teste seja concluído.
3. Por que meu teste está terminando inesperadamente?
   • Se você optar por terminar o teste com significância estatística, o sistema tentará obter um vencedor nos primeiros 30 dias a partir do momento em que publicar o percurso. Se nenhuma versão for declarada vencedora, o teste será encerrado e a versão padrão será enviada para o público restante.