A/B-tester i Dynamics 365 Customer Insights - Journeys

Customer Insights - Journeys bruker kraftige A/B-tester til å undersøke de utløserbaserte kundereisene, slik at du kan få innsikt i hvordan du best kan nå kundene.

Bruk av A/B-tester gjør det mulig å måle hvilken kanal eller strategi for innholdsmeldinger som fører til større suksess. Hver test sammenligner en kontrollgruppe med brukere (versjon A) med en variant (versjon B). Kontrollgruppen får en standardopplevelse. Variantgruppen mottar en annen opplevelse eller melding. Ved å sammenligne resultatene av gruppene kan du avgjøre hvilken som er mest effektiv.

Eksempel 1: Opprett en A/B-test for utløserbaserte reiser

La oss tenke oss at du vil teste to forskjellige e-poster på en utløserbasert reise som blir aktivert når noen fullfører et kjøp.

1. Opprett det første innholdet i redigeringsprogrammet for e-post på vanlig måte. Perfeksjoner innholdet, og sørg for å se etter feil for å forsikre deg om at den kan gå live.

2. Når innholdet er klart, kan du gå til Customer Insights - Journeys>Engasjement>Reiser og velge en eksisterende reise eller opprette en ny.

3. Når du har valgt en reise, velger du plusstegnet (+) for å legge til et element, og deretter gjør du følgende:

   • Velg Test hvilken variasjon som gir bedre resultater.
   • Velg kanalene du vil teste. I dette eksemplet vil du teste to e-poster: velg en for versjon A og en for versjon B, og velg deretter Opprett test.

4. Når du velger A/B-testflisen, åpnes sideruten.

   

   Ruten inneholder følgende parametere:

   • Visningsnavn: Angi et navn for å identifisere testen. Dette navnet vises i testpanelet A/B og i kundereiseanalysen når du ser på hvilke tester som kjører.
   • Versjoner: Velg innholdet for kanalen du klargjorde i trinn én (i dette tilfellet de to e-postmeldingene du vil teste). Du kan gjøre dette via en rullegardinliste ved å velge de underordnede flisene i reisebyggeren eller ved å velge et alternativ på sidepanelet.
   • Første målgruppe: Dette er målgruppen du vil holde tilbake fra A/B-testen før du får resultatene. Dette alternativet er bare tilgjengelig for segmentbaserte tjenester siden du allerede har et totalt antall kunder som hjelper deg med å bestemme hvor mange du vil holde tilbake. Utløserbaserte reiser har ikke dette alternativet når kunder oppgir når de gjennomfører en handling. Dermed er det totale antallet kunder som kommer inn i reisen, ukjent.
   • Eksperimentdistribusjon: Velg målgruppedistribusjonen du ønsker. Glidebryteren settes automatisk på 50-50, men du kan sette glidebryteren til den ønskede distribusjonen. Minimum en versjon kan motta, er 10 prosent, og maksimum er 90 prosent. Husk at versjon A vanligvis er din kontrollgruppe, og versjon B er din variant.
   • Vinnende metrikkverdi: Du kan angi vinnerbetingelsen for testen ved å velge en vinnermetrikkverdi: versjonen der flest hendelser for reisen er nådd, flest klikk eller flest åpninger. I dette tilfellet vil du øke åpningsfrekvensene slik at du velger alternativet for åpningsfrekvens.
   • Denne testen avsluttes: Du kan også velge om du vil avslutte testen automatisk eller på en bestemt dato og et bestemt klokkeslett. La testen avgjøre en vinner automatisk når resultatene oppnår statistisk signifikans. Dette betyr at når en klar vinner er fastsatt, sender systemet vinnerversjonen til resten av målgruppen. Den tapende versjonen forkastes. Hvis du velger statistisk signifikans som et alternativ for å avslutte A/B-testen, men det er ingen klar vinner etter 30 dager, sender systemet automatisk standardversjonen.
   • Standardversjon: Til slutt bør du velge en standardversjon i tilfelle testen ikke avsluttes på en vellykket måte. I tilfeller der en vinner ikke er bestemt innen fristen som er angitt via dato og klokkeslett, sendes standardversjonen automatisk.

5. A/B-testen skal se slik ut når du konfigurerer alt og du er klar til å publisere testresultatene:

   

Eksempel 2: Opprett en A/B-test for segmentbaserte reiser

La oss tenke oss at du vil opprette en reise for å ønske nye medlemmer velkommen som har sluttet seg til lojalitetsprogrammet denne måneden. Du vil øke åpningsfrekvensen ved å teste to forskjellige emnelinjer.

Du fullfører trinn én til tre som er skissert i det første eksemplet, men du vil legge merke til at sideruten ser annerledes ut. Dette skyldes at du har et totalt antall kunder å begynne med med segmentbaserte reiser. På denne måten kan du opprette to typer A/B-tester.

1. A/B-test uten kontrollgruppe: Denne A/B-testen fungerer på samme måte som utløserbaserte reiser der kunder sendes gjennom testen frem til en vinner blir bestemt.

   

2. A/B-test med en kontrollgruppe: Med denne kan du fortelle systemet nøyaktig hvor mange kunder du vil teste på. For eksempel har segmentet 100 lojalitetsmedlemmer, så du vil teste på henholdsvis 20 prosent eller 20 medlemmer der hver versjon får 10 medlemmer. Etter A/B-testen vil de resterende 80 medlemmene motta den vinnende versjonen. Du kan alltid justere målgruppe og distribusjonen slik du vil.

   

I dette eksemplet skal vi teste A/B med en kontrollgruppe. Alle de andre innstillingene er de samme som i eksempel én.

Overvåk livssyklusen til A/B-testene

Når du har publisert reisen, kan du åpne den for å spore livssyklusen til testene.

• Utkast: Disse testene har ikke kjørt ennå, så du kan fremdeles redigere innstillingene.
• Pågår: Disse testene blir utført for øyeblikket. Innstillingene er låst, og du kan ikke gjøre omfattende endringer.
• Stoppet: Disse testene stoppes, og markedsføreren kan velge hvilken versjon som skal sendes.
• Avsluttet: Disse testene ble utført ved å finne en statistisk signifikant vinner, eller ved å bli tidsavbrutt når det er planlagt å avslutte på en angitt dato og et bestemt tidspunkt. Avsluttede tester kan ikke brukes på nytt.

Forstå resultatene

Det finnes tre mulige resultater for A/B-testresultater:

• Test konkluderte med en klar vinner: Testen konkluderte med at den ene versjonen yter bedre enn den andre. Vinnerversjonen har et "vinner"-merke og distribueres til alle nye kunder som går gjennom reiseforløpet.
• Testen var ufullstendig: Testen konkluderte med at det er like sannsynlig at mottakerne engasjerer seg i versjon A som i versjon B. I dette tilfellet sendes standardversjonen til alle nye kunder som går gjennom reiseforløpet.
• Testen ble stoppet: Dette betyr at du eller en av dine kollegaer stoppet testen før den kunne konkludere. I dette tilfellet sendes versjonen som er angitt av deg eller kollegaen din, til alle nye kunder som går gjennom reiseforløpet.

VANLIGE SPØRSMÅL

1. Kan jeg ha en A/B-test med mer enn to versjoner?
   • Ikke for øyeblikket.
2. Hvorfor ser jeg ikke alternativet for kontrollgruppe for segmentbaserte reiser?
   • Hvis du legger en attributtgren eller en flis som vil endre totalt antall segmentet, forsvinner alternativet for kontrollgruppe fordi systemet ikke vet hvor mange kunder som skal holdes tilbake før testen er fullført.
3. Hvorfor slutter testen uventet?
   • Hvis du velger å avslutte testen med statistisk signifikans, prøver systemet å få en vinner i løpet av de første 30 dagene fra publiseringen av reisen. Hvis ingen versjon blir vunnet, avsluttes testen og standardversjonen sendes til den resterende målgruppen.