A/B-tester i Dynamics 365 Customer Insights - Journeys

Customer Insights - Journeys använder kraftfulla A/B-tester för att undersöka dina utlösarbaserade kundresor, så att du kan få insikter om hur du bäst når dina kunder.

Med hjälp av A /B-tester kan du mäta vilken kanal- eller innehållsmeddelandestrategi som leder till högre framgång. Varje test jämför en kontrollgrupp av användare (version A) med en variant (version B). Kontrollgruppen får en standardupplevelse. Variantgruppen får en annan upplevelse eller ett annat meddelande. Genom att jämföra gruppernas resultat kan du avgöra vilken som är mest effektiv.

A/B-testning kräver en mycket stor publik för att vara effektiv. Om du kör tester på målgrupper med färre än 1 000 deltagare kan det ge oväntade resultat, till exempel ojämna fördelningar i varianterna. Att köra tester på extremt små grupper ger nästan alltid oproportionerliga fördelningar. Om målgruppen till exempel bara har tio medlemmar är det möjligt att en går till variant A medan nio går till variant B. Detta är ett förväntat beteende när målgruppsstorleken är så liten att den statistiska modellen inte har tillräckligt med data för att nå den distribution som krävs.

Exempel 1: Skapa ett A/B-test för utlösande baserade alternativ

Föreställ dig att du vill testa två olika e-postmeddelanden på en utlösarbaserad resa som aktiveras när någon slutför ett köp.

1. Skapa ditt ursprungliga innehåll i e-postredigeraren som vanligt. Finslipa innehållet och kontrollera om det finns fel för att säkerställa att det kan publiceras.
2. När innehållet är färdigt går du till Customer Insights - Journeys>Engagemang>Resor och väljer en befintlig resa eller skapar en ny.
3. När du har valt en resa klickar du på plustecknet (+) för att lägga till ett element och följer sedan dessa steg:
   • Välj Testa vilken variant som presterar bättre.

• Välj de kanaler som du vill testa. I det här exemplet vill du testa två e-postmeddelanden: välj en för version A och en för version B och välj Skapa test.

1. När du väljer testpanel för A/B öppnas sidrutan.

   

   Rutan innehåller följande parametrar:

• Visningsnamn: Om du vill identifiera testet anger du ett namn på det. Det här namnet visas i A/B-testpanelen och i analysen av kundens färd när du tittar på vilka tester som körs.
• Versioner: Välj innehållet för den kanal som du förberedde i steg ett (i det här fallet de två e-postmeddelandena som du vill testa). Du kan göra detta genom en listrutan genom att antingen välja underordnade paneler i reseverktyget eller genom att göra ett val på sidopanelen.
• Initial målgrupp: Det här är målgruppen som du vill hålla tillbaka från A/B-testet innan du får resultaten. Det här alternativet är bara tillgängligt för segmentbaserade resor eftersom du redan har ett totalt antal kunder som hjälper dig att bestämma hur många du vill hålla tillbaka. Utlösarbaserade resor har inte det här alternativet eftersom kunder går in när de slutför en åtgärd. Som sådan är det totala antalet kunder som går in på resan okänt.
• Experimentdistribution: Välj den målgruppsfördelning du vill ha. Skjutreglaget är automatiskt på 50-50, men du kan ställa in skjutreglaget på önskad fördelning. Det minsta en version kan ta emot är 10 %, och det maximala värdet är 90 %. Kom ihåg att version A traditionellt är din kontrollgrupp och version B är din variant.
• Vinnande mått: Ange det vinnande villkoret för testet genom att välja ett vinnande mått: den version som har flest målhändelser för resan, flest klick eller flest öppningar. I det här fallet vill du öka andelen öppningar, så du ska välja alternativet andel öppningar.
• Testet avslutas: Välj mellan att avsluta testet automatiskt eller vid ett visst datum och en viss tid. Att låta testet avgöra en vinnare sker automatiskt när resultaten når statistisk signifikans. Detta innebär att när en tydlig vinnare har utsetts, skickar systemet den vinnande versionen till resten av din publik. Den förlorande versionen ignoreras. Om du väljer statistiskt viktiga alternativ som ett alternativ till att avsluta A/B-testet men efter 30 dagar inte är klar skickar systemet automatiskt standardversionen. Om du avslutar testet tidigt kan det ta upp till fyra timmar att släppa kontrollgruppen.
• Standardversion: Välj slutligen en standardversion om testet inte skulle avslutas. Om en vinnare inte har fastställts inom den tidsfrist som anges via datum och tid skickas standardversionen automatiskt.

1. A/B-testet bör se ut så här när du konfigurerat allt och du är redo att publicera resan:

   

Exempel 2: Skapa ett A/B-test för segmentbaserade alternativ

Anta att du vill skapa en resa för att välkomna nya medlemmar som gått med i ditt lojalitetsprogram den här månaden. Du vill öka antal öppningar genom att testa två olika ämnesrader.

Du kommer att slutföra steg ett till tre i det första exemplet, men du kommer att märka att sidorutan ser annorlunda ut. Detta beror på att man med segmentbaserade resor har ett totalt antal kunder till att börja med, detta låter dig skapa två typer av A/B-tester.

1. A/B-test utan kontrollgrupp: Det här A/B-testet fungerar på samma sätt som utlösarbaserade resor där kunderna går igenom testet i tur och ordning tills en vinnare har utsetts.

   

2. A/B-test med en kontrollgrupp: Detta gör att du kan ange för systemet exakt hur många kunder du vill testa. Om ditt segment till exempel har 100 lojalitetsmedlemmar kan du först testa på 20 procent eller 20 medlemmar där varje version får 10 medlemmar. Efter A/B-testet får de återstående 80 medlemmarna den vinnande versionen. Du kan alltid justera den initiala målgruppen och distributionen som du vill.

   

I det här exemplet använder vi ett A/B-test med en kontrollgrupp. Alla de andra inställningarna är samma som i exemplet.

Övervaka livscykeln för A/B-testerna

När du har publicerat din resa kan du öppna den och spåra livscykeln för dina tester.

• Utkast: Dessa tester har inte körts ännu, så du kan fortfarande redigera inställningarna.
• Pågår: Dessa tester körs för närvarande. Inställningarna är låsta och du kan inte göra några större ändringar.
• Stoppade: Testerna stoppas och marknadsföraren kan välja vilken version som ska skickas.
• Avslutade: Dessa tester slutfördes genom att hitta en statistiskt signifikant vinnare eller genom timeout när det var planerat att sluta vid ett fastställt datum och tid. Det går inte att återanvända befintliga tester.

Förstå dina resultat

Det finns tre möjliga A/B-testresultat:

• Testet avslutades med en tydlig vinnare: Testet drog slutsatsen att den ena versionen fungerar bättre än den andra. Den vinnande versionen har ett "vinnarmärke" och distribueras till alla nya kunder som förs genom resan.
• Testet var inte slutgiltigt: Testet drog slutsatsen att mottagarna är lika benägna att engagera sig i version A som med version B. I det här fallet skickas standardversionen till alla nya kunder som förs genom färden.
• Testet stoppades: Detta innebär att du eller en av dina medarbetare stoppade testet innan det kunde slutföras. I det här fallet skickas den version som du eller din medarbetare har angett till alla nya kunder som förs genom resan.

Vanliga frågor och svar

1. Kan jag göra ett A/B-test med fler än två versioner?
   • Nej, inte för tillfället.
2. Varför ser jag inte alternativet för kontrollgrupp för segmentbaserad resa?
   • Om du placerar en attributgren eller en panel som ändrar det totala antalet segment försvinner kontrollgruppsalternativet eftersom systemet inte vet hur många kunder som ska hållas inne tills testet har slutförts.
3. Varför avslutas mitt test oväntat?
   • Om du väljer att avsluta testet med statistisk signifikans försöker systemet få fram en vinnare inom de första 30 dagarna från det att du publicerar resan. Om ingen version används avslutas testet och standardversionen skickas till återstående målgrupp.