A/B-tests in Dynamics 365 Customer Insights - Journeys

Artikel
02/12/2025

Customer Insights - Journeys maakt gebruik van krachtige A/B-tests om uw op triggers gebaseerde klantreizen te onderzoeken, zodat u inzicht krijgt in hoe u uw klanten het beste kunt bereiken.

Met A/B-tests kunt u meten welk kanaal of welke strategie voor inhoudsberichten tot meer succes leidt. Elke test vergelijkt een controlegroep van gebruikers (versie A) met een variant (versie B). De controlegroep krijgt een standaardervaring. De variantgroep krijgt een andere ervaring of een ander bericht. Door de resultaten van de groepen te vergelijken, kunt u bepalen welke het meest effectief is.

Voor een effectieve A/B-test is een groot publiek nodig. Als u tests uitvoert met een publiek van minder dan 1.000 personen, kunnen er onverwachte resultaten optreden, zoals een ongelijke verdeling van de varianten. Het uitvoeren van tests op extreem kleine groepen levert vrijwel altijd onevenredige verdelingen op. Als uw publiek bijvoorbeeld maar tien leden heeft, is het mogelijk dat er één naar variant A gaat, terwijl er negen naar variant B gaan. Dit is verwacht gedrag wanneer de omvang van het publiek zo klein is dat het statistische model niet genoeg gegevens heeft om de vereiste distributie te bereiken.

Voorbeeld 1: Een A/B-test maken voor op triggers gebaseerde reizen

Stel dat u twee verschillende e-mails wilt testen op een triggergebaseerde reis die wordt geactiveerd wanneer iemand een aankoop voltooit.

Maak zoals gewoonlijk uw eerste inhoud in de e-maileditor. Maak de inhoud perfect en controleer deze op fouten, zodat deze live kan.
Wanneer uw inhoud er klaar voor is, gaat u naar Customer Insights - Journeys>Interactie>Reizen en selecteert u een bestaande reis of maakt u een nieuwe.
Nadat u een reis hebt geselecteerd, selecteert u het plusteken (+) om een element toe te voegen. Volg daarna deze stappen:
- Selecteer Testen welke variatie beter presteert.

Selecteer de kanalen die u wilt testen. In dit voorbeeld gaat u twee e-mails testen: selecteer er een voor versie A en een voor versie B en selecteer vervolgens Test maken.

Wanneer u de A/B-testtegel selecteert, wordt het zijvenster geopend.

Het deelvenster bevat de volgende parameters:

Weergavenaam: voer een naam in om uw test te identificeren. Deze naam wordt weergegeven in het A/B-testpaneel en in de customer journey-analyses wanneer u bekijkt welke tests er worden uitgevoerd.
Versies: kies de inhoud voor het kanaal dat u in stap één hebt voorbereid (in dit geval de twee e-mails die u wilt testen). U kunt dit doen via een vervolgkeuzelijst door de onderliggende tegels in de opbouwfunctie voor reizen te selecteren of door een selectie te maken in het zijvenster.
Begindoelgroep: dit is de doelgroep die u wilt buitensluiten van de A/B-test voordat u de resultaten krijgt. Deze optie is alleen beschikbaar voor op segmenten gebaseerde reizen, omdat u al een totaal aantal klanten hebt aan de hand waarvan u kunt bepalen hoeveel u wilt buitensluiten. Op triggers gebaseerde reizen hebben deze optie niet, aangezien klanten binnenkomen wanneer ze een actie voltooien. Hierdoor is het totale aantal klanten dat de reis ingaat onbekend.
Experimentdistributie: kies de gewenste doelgroepdistributie. De schuifregelaar staat automatisch op 50-50, maar u kunt de schuifregelaar instellen op de gewenste verdeling. Een versie kan minimaal 10 procent maximaal 90 procent ontvangen. Versie A is traditioneel uw controlegroep en versie B is uw variant.
Winnend metrisch gegeven: stel de winnende voorwaarde voor uw test in door een winnend metrisch gegeven te kiezen: de versie met de meeste treffers voor reisdoelgebeurtenissen, de meeste klikacties of de meeste openacties In dit geval wilt u uw openingspercentages verhogen, dus u kiest de optie openingspercentage.
Deze test eindigt: kies of u de test automatisch of op een specifieke datum en tijd wilt beëindigen. De test bepaalt automatisch een winnaar wanneer de resultaten statistisch significant zijn. Dit betekent dat zodra er een duidelijke winnaar is bepaald, het systeem de winnende versie naar de rest van uw publiek stuurt. De verliezende versie wordt verwijderd. Als u statistische significantie kiest als optie om de A/B-test te beëindigen, maar er is na 30 dagen geen duidelijke winnaar, dan stuurt het systeem automatisch de standaardversie. Als u de test vroegtijdig beëindigt, kan het tot vier uur duren voordat de controlegroep wordt vrijgegeven.
Standaardversie: kies ten slotte een standaardversie voor het geval de test niet slaagt. Als er binnen de gestelde termijn geen winnaar is bepaald, wordt automatisch de standaardversie verzonden.

Wanneer u alles hebt geconfigureerd en klaar bent om de journey te publiceren, zou de A/B-test er als volgt uit moeten zien:

Voorbeeld 2: Een A/B-test maken voor op segmenten gebaseerde reizen

Stel je voor dat je een reis wilt creëren om nieuwe leden te verwelkomen die zich deze maand bij je loyaliteitsprogramma hebben aangesloten. U wilt uw openingspercentage verhogen door twee verschillende onderwerpregels te testen.

U voltooit stap één tot en met drie in het eerste voorbeeld, maar u zult merken dat het zijvenster er anders uitziet. Dit komt omdat u bij op segmenten gebaseerde trajecten om te beginnen een totaal aantal klanten hebt; hiermee kunt u twee soorten A/B-tests maken.

A/B-test zonder controlegroep: deze A/B-test gedraagt zich op een vergelijkbare manier als op triggers gebaseerde reizen, waarbij klanten de test doorlopen zodra ze binnenkomen, totdat er een winnaar is bepaald.
A/B-test met een controlegroep: hiermee kunt u het systeem precies aangeven hoeveel klanten u wilt testen. Als uw segment bijvoorbeeld 100 loyale leden heeft, kunt u eerst testen op 20 procent of 20 leden, waarbij elke versie 10 leden krijgt. Na de A/B-test ontvangen de overgebleven 80 leden de winnende versie. U kunt de initiële doelgroep en de distributie altijd naar wens aanpassen.

In dit voorbeeld gebruiken we een A/B-test met een controlegroep. Alle andere instellingen zijn hetzelfde als in voorbeeld één.

De levenscyclus van uw A/B-tests bewaken

Nadat u uw reis heeft gepubliceerd, kunt u deze openen om de levenscyclus van uw tests bij te houden.

Concept: deze tests zijn nog niet uitgevoerd, dus u kunt de instellingen nog steeds bewerken.
In uitvoering: dit zijn tests die momenteel worden uitgevoerd. De instellingen zijn vergrendeld en u kunt geen significante wijzigingen aanbrengen.
Gestopt: deze tests worden gestopt en de marketeer kan kiezen welke versie moet worden verzonden.
Beëindigd: dit zijn tests die zijn voltooid omdat een statistisch significante winnaar is gevonden of omdat de ingestelde datum en tijd voor beëindiging is bereikt. Beëindigde tests kunnen niet opnieuw worden gebruikt.

Uw resultaten begrijpen

Er zijn drie mogelijke A/B-testresultaten:

Test afgesloten met een duidelijke winnaar: uit de test is gebleken dat de ene versie beter presteert dan de andere. De winnende versie heeft een winnaarsbadge en wordt verspreid naar de nieuwe klanten die de reis doorlopen.
Test was meerduidig: uit de test kwam geen duidelijke winnaar tussen versie A en B naar voren. In dit geval wordt de standaardversie verzonden naar nieuwe klanten die de reis doorlopen.
De test is gestopt: dit betekent dat u of een van uw collega's de test heeft gestopt voordat deze kon worden afgesloten. In dit geval wordt de door u of uw collega opgegeven versie verzonden naar nieuwe klanten die de reis doorlopen.

Veelgestelde vragen

Kan ik een A/B-test laten doen met meer dan twee versies?
- Nee, op dit moment niet.
Waarom zie ik de controlegroepoptie voor op segmenten gebaseerde reizen niet?
- Als u een kenmerktak of een tegel toevoegt die het totale aantal van het segment verandert, verdwijnt de optie Controlegroep omdat het systeem niet weet hoeveel klanten moeten worden tegengehouden totdat de test is voltooid.
Waarom eindigt mijn test onverwachts?
- Als u ervoor kiest om de test af te sluiten met statistische significantie, probeert het systeem binnen de eerste 30 dagen na publicatie van de reis een winnaar aan te wijzen. Als geen enkele versie tot winnaar wordt uitgeroepen, eindigt de test en wordt de standaardversie naar de resterende doelgroep gestuurd.

Delen via