A/B-test i Dynamics 365 Customer Insights - Journeys

Customer Insights - Journeys bruger effektive A/B-tests til at undersøge dine udløserbaserede kundekampagneforløb, så du kan få indsigt i, hvordan du bedst når ud til dine kunder.

Ved at bruge A/B-test kan du måle, hvilken kanal eller indholdsmeddelelsesstrategi der giver større succes. Hver test sammenligner en kontrolgruppe af brugere (version A) med en variant (version B). Kontrolgruppen får en standardoplevelse. Variantgruppen får en anden oplevelse eller meddelelse. Ved at sammenligne resultaterne af grupperne kan du bestemme, hvilken der er den mest effektive.

A/B-test kræver en betydelig målgruppe for at være effektiv. Kørsel af test på målgrupper på mindre end 1.000 kan give uventede resultater såsom ulige fordeling i varianterne. Kørsel af test på ekstremt små grupper producerer næsten altid uforholdsmæssige fordelinger. Hvis din målgruppe f.eks. kun har ti medlemmer, er det muligt, at én går til variant A, mens ni går til variant B. Dette er forventet adfærd, når målgruppestørrelsen er så lille, at den statistiske model ikke har nok data til at nå den krævede distribution.

Eksempel 1: Oprettelse af en A/B-test for udløserbaserede udløsere

Forestil dig, at du vil teste to forskellige mails på en udløserbaseret rejse, der aktiveres, når nogen gennemfører et køb.

1. Opret dit oprindelige indhold i maileditoren som normalt. Perfektionér indholdet, og kontrollér det for fejl for at sikre, at det kan gå live.
2. Når dit indhold er klar, skal du gå til Customer Insights - Journeys>Engagement>Kampagneforløb og vælge et eksisterende kampagneforløb eller oprette et nyt.
3. Når du har valgt et kampagneforløb, skal du vælge plustegnet (+) for at tilføje et element og derefter følge disse trin:
   • Vælg Test, hvilken afvigelse der fungerer bedre.

• Vælg de kanaler, du vil teste. I dette eksempel vil du teste to mails: vælg én for version A og én for version B, og vælg derefter Opret test.

1. Når du vælger A/B-testfelt, åbnes sideruden.

   

   Ruden indeholder følgende parametre:

• Visningsnavn: For at identificere testen skal du angive et navn. Dette navn vises i panelet A/B-test og i kundekampagneforløbsanalyserne, når du ser på, hvilke test der kører.
• Versioner: Vælg indholdet til den kanal, du forberedte i trin ét (i dette tilfælde de to mails, du vil teste). Du kan gøre dette via en rulleliste ved enten at vælge de underordnede felter i kampagneforløbsbyggeren eller ved at foretage et valg på sidepanelet.
• Oprindelig målgruppe: Dette er den målgruppe, du vil holde tilbage fra A/B-testen, før du får resultaterne. Denne indstilling er kun tilgængelig for segmentbaserede kampagneforløb, da du allerede har et samlet antal kunder, der kan hjælpe dig med at beslutte, hvor mange du vil holde tilbage. Udløserbaserede brugere har ikke denne indstilling, når kunderne angiver dem, når de fuldfører en handling. Det samlede antal kunder, der kommer ind i kundekampagnen, er derfor ukendt.
• Fordeling af eksperiment: Vælg den ønskede målgruppefordeling. Skyderen er automatisk på 50-50, men du kan indstille skyderen til den ønskede fordeling. Det mindste, en version kan modtage, er 10 %, og maksimum er 90 %. Husk, at version A traditionelt set er din kontrolgruppe, og version B er din variant.
• Vindende metrikværdi: Angiv vinderbetingelsen for din test ved at vælge en vindermetrik: den version, der har flest hændelser med kampagneforløbsmål, flest klik eller flest åbninger. I dette tilfælde vil du øge dine åbningsfrekvenser, så du skal vælge indstillingen Åbningsfrekvens.
• Denne test slutter: Vælg mellem at afslutte testen automatisk eller på en bestemt dato og et bestemt klokkeslæt. At lade testen bestemme en vinder sker automatisk, når resultaterne når statistisk signifikans. Det betyder, at når en klar vinder er bestemt, sender systemet den vindende version til resten af dit publikum. Den tabende version kasseres. Hvis du vælger statistiske oplysninger som en mulighed for at afslutte A/B-testen, men der ikke er en klar vinder efter 30 dage, sendes standardversionen automatisk. Hvis du afslutter testen tidligt, kan det tage op til fire timer at frigive kontrolgruppen.
• Standardversion: Til sidst skal du vælge en standardversion i tilfælde af, at testen ikke afsluttes korrekt. Hvis en vinder ikke findes inden for den frist, der er angivet via dato og klokkeslæt, sendes standardversionen automatisk.

1. A/B-testen skal se sådan ud, når du konfigurerer alt, og du er klar til at publicere kampagnen:

   

Eksempel 2: Oprettelse af en A/B-test for segmentbaserede udløsere

Forestil dig, at du vil oprette en rejse for at byde nye medlemmer, der tilmeldte sig dit loyalitetsprogram i denne måned, velkommen. Du vil forøge åbningshastigheden ved at teste to forskellige emnelinjer.

Du fuldfører trin 1-3 i det første eksempel, men du vil se, at sideruden ser anderledes ud. Det skyldes, at med segmentbaserede kundeforløb har du et samlet antal kunder til at begynde med; Det giver dig mulighed for at oprette to typer A/B-test.

1. A/B-test uden kontrolgruppe: Denne A/B-test fungerer på samme måde som udløserbaserede kampagneforløb, hvor kunderne tragter gennem testen, indtil en vinder er fundet.

   

2. A/B-test med en kontrolgruppe: Dette giver dig mulighed for at fortælle systemet nøjagtigt, hvor mange kunder du vil teste. For eksempel, hvis dit segment har 100 loyalitetsmedlemmer, kan du først teste på 20 procent eller 20 medlemmer, hvor hver version modtager 10 medlemmer. Efter A/B-testen modtager de resterende 80 medlemmer den vindende version. Du kan altid justere den første målgruppe og distributionen til dine præferencer.

   

I dette eksempel bruger vi en A/B-test med en kontrolgruppe. Alle de andre indstillinger er de samme som i eksempel 1.

Overvåg livscyklussen for dine A/B-test

Når du har udgivet testen, kan du åbne den for at spore testens livscyklus.

• Kladde: Disse test er ikke blevet kørt endnu, så du kan stadig redigere indstillingerne.
• Igangværende: Disse test er ved at blive kørt. Indstillingerne er låst, og du kan ikke foretage væsentlige ændringer.
• Stoppet: Disse tests er stoppet, og marketingmedarbejderen kan vælge, hvilken version der skal sendes.
• Afsluttet: Disse er test blev afsluttet ved at finde en statistisk signifikant vinder eller ved timeout, når den er planlagt til at slutte på en bestemt dato og et bestemt tidspunkt. Afsluttede test kan ikke genbruges.

Forstå dine resultater

Der er tre mulige udfald af A/B-testresultater:

• Test afsluttet med en klar vinder: Testen konkluderede, at den ene version klarer sig bedre end den anden. Den vindende version har et "vinder"-badge og distribueres til alle nye kunder, der går gennem kampagneforløbet.
• Testen var ikke afgørende: Testen konkluderede, at modtagerne er lige så tilbøjelige til at engagere sig i version A som i version B. I dette tilfælde sendes standardversionen til alle nye kunder, der går gennem kampagneforløbet.
• Testen blev stoppet: Dette betyder, at du eller en af dine kolleger stoppede testen, før den kunne afsluttes. I dette tilfælde sendes den version, der er angivet af dig eller din kollega, til alle nye kunder, der går gennem rejsen.

OFTE STILLEDE SPØRGSMÅL

1. Kan jeg få en A/B-test med mere end to versioner?
   • Nej, ikke i øjeblikket.
2. Hvorfor kan jeg ikke se kontrolelementgruppeindstillingen for segmentbaserede opdelinger?
   • Hvis du placerer en attributgren eller et felt, der ændrer segmentets samlede antal, forsvinder indstillingen for kontrolgruppe, fordi systemet ikke ved, hvor mange kunder der skal holdes tilbage, indtil testen er fuldført.
3. Hvorfor slutter min test uventet?
   • Hvis du vælger at afslutte testen med statistisk signifikans, forsøger systemet at få en vinder inden for de første 30 dage fra det tidspunkt, hvor du offentliggør kampagneforløbet. Hvis der ikke angives en vinder, slutter testen, og standardversionen sendes til den resterende målgruppe.