Testy A/B w aplikacji Dynamics 365 Customer Insights - Journeys

Customer Insights - Journeys używa zaawansowanych testów A/B do badania procesów pozyskiwania klientów opartych na wyzwalaczach, co pozwala uzyskać wgląd w to, jak najlepiej dotrzeć do klientów.

Przy użyciu testów A/B można zmierzyć, który kanał lub strategia przesyłania wiadomości treści prowadzi do większego sukcesu. Każdy test porównuje grupę kontrolną użytkowników (wersja A) z wariantem (wersja B). Grupa kontrolna otrzymuje środowisko domyślne. Grupa wariantów otrzymuje inne środowisko lub wiadomość. Porównując wyniki grup, można określić, która jest najbardziej skuteczny.

Testy A/B wymagają znacznej liczby odbiorców, aby były skuteczne. Przeprowadzanie testów na odbiorcach mniejszych niż 1000 może przynieść nieoczekiwane wyniki, takie jak nierówny rozkład wariantów. Przeprowadzanie testów na bardzo małych grupach prawie zawsze powoduje nieproporcjonalne dystrybucje. Jeśli na przykład grupa odbiorców ma tylko dziesięciu członków, może się zdarzyć, że jeden z nich przejdzie do wariantu A, a dziewięciu do wariantu B. Jest to oczekiwane zachowanie, gdy wielkość grupy odbiorców jest tak mała, że model statystyczny nie ma wystarczającej ilości danych, aby osiągnąć wymagany rozkład.

Przykład 1: Tworzenie testów A/B dla podróży opartych na wyzwalaczu

Wyobraź sobie, że chcesz przetestować dwie różne wiadomości e-mail w procesie pozyskiwania opartym na wyzwalaczu, który aktywuje się, gdy ktoś sfinalizuje zakup.

1. Utwórz początkową zawartość w edytorze wiadomości e-mail jak zwykle. Udoskonal zawartość i sprawdź ją pod kątem błędów, aby upewnić się, że może zostać opublikowana.
2. Gdy zawartość będzie gotowa, przejdź do obszaru Customer Insights - Journeys>Zaangażowanie>Procesy pozyskiwania i wybierz istniejący proces pozyskiwania lub utwórz nowy.
3. Po wybraniu procesu pozyskiwania wybierz znak plus (+), aby dodać element, a następnie wykonaj następujące kroki:
   • Wybierz opcję Sprawdź, która odmiana działa lepiej.

• Wybierz kanały, które chcesz testować. W tym przykładzie chcesz przetestować dwie wiadomości e-mail: wybierz jedną dla wersji A i jedną dla wersji B, a następnie wybierz opcję Utwórz test.

1. Po wybraniu kafelka testowego A/B zostanie otwarte okienko boczne.

   

   Okienko musi zawierać następujące parametry:

• Wyświetlana nazwa: aby zidentyfikować test, wprowadź jego nazwę. Ta nazwa jest wyświetlana w panelu testów A/B i w analizie pozyskiwania klientów, gdy sprawdzasz, które testy są uruchomione.
• Wersje: wybierz zawartość dla kanału przygotowaną w kroku pierwszym (w tym przypadku dwa e-maile, które chcesz przetestować). Można to zrobić za pomocą listy rozwijanej, wybierając kafelki podrzędne w konstruktorze podróży lub wybierając opcję na panelu bocznym.
• Początkowa grupa odbiorców: jest to grupa odbiorców, którą chcesz powstrzymać przed testem A/B przed uzyskaniem wyników. Ta opcja jest dostępna tylko w przypadku procesów pozyskiwania opartych na segmentach, ponieważ masz już łączną liczbę klientów, która pomoże Ci zdecydować, ilu z nich chcesz zatrzymać. Ta opcja nie jest dostępna dla podróży opartych na wyzwalaczu, ponieważ klienci dołączają po zakończeniu akcji. Z tego względu nie jest znana łączna liczba klientów, którzy dołączają do podróży.
• Dystrybucja eksperymentu: wybierz odpowiedni rozkład odbiorców. Suwak jest automatycznie ustawiany na 50-50, ale można ustawić go na żądaną dystrybucję. Minimum dla wersji to 10 procent, a maksimum — 90 procent. Pamiętaj, że tradycyjnie wersja A jest grupą kontrolną, a wersja B jest wariantem.
• Zwycięska metryka: ustaw warunek wygrania testu, wybierając zwycięską metrykę — wersję z największą liczbą zrealizowanych zdarzeń celowych podróży, największą liczbą kliknięć lub największą liczbą otwarć. W tym przypadku należy zwiększyć otwarte stawki, tak aby można było wybrać opcję otwartej stawki.
• Ten test kończy się: wybierz między zakończeniem testu automatycznie lub w określonym dniu i godzinie. Pozwolenie testowi na wyłonienie zwycięzcy następuje automatycznie, gdy wyniki osiągną istotność statystyczną. Oznacza to, że po ustaleniu wyraźnego zwycięzcy system wysyła zwycięską wersję do reszty odbiorców. Gorsza wersja jest odrzucana. Jeśli zostanie wybrana istotność statystyczna jako opcja zakończenia testu A/B, ale nie będzie wyraźnego zwycięzcy po 30 dniach, system automatycznie wyśle wersję domyślną. Jeśli zakończysz test wcześniej, zwolnienie grupy kontrolnej może potrwać do czterech godzin.
• Wersja domyślna: na koniec wybierz wersję domyślną, jeśli test nie zakończy się pomyślnie. Jeśli zwycięzca nie zostanie wyłoniony w terminie określonym w dacie i godzinie, automatycznie wysyłana jest wersja domyślna.

1. Test A/B powinien wyglądać następująco, gdy skonfigurowane zostanie wszystko i będzie gotowe do opublikowania procesu pozyskiwania:

   

Przykład 2: Tworzenie testów A/B dla podróży opartych na segmencie

Wyobraź sobie, że chcesz stworzyć podróż, aby powitać nowych członków, którzy dołączyli do Twojego programu lojalnościowego w tym miesiącu. Chcesz zwiększyć współczynnik otwarcia, testując dwa różne wiersze tematu.

Trzeba wykonać kroki od jeden do trzy w zarysie pierwszego przykładu, ale okienko boczne wygląda inaczej. To dlatego, że w przypadku segmentów można rozpocząć od łącznej liczby klientów. Umożliwia to utworzenie dwóch typów testów A/B.

1. Test A/B bez grupy kontrolnej: ten test A/B zachowuje się podobnie do procesów pozyskiwania opartych na wyzwalaczach, w których klienci przechodzą przez test jak tylko przychodzą, aż do wyłonienia zwycięzcy.

   

2. Test A/B z grupą kontrolną: pozwala dokładnie powiedzieć systemowi, ilu klientów chcesz przetestować. Na przykład, jeśli Twój segment ma 100 członków programu lojalnościowego, możesz najpierw przetestować 20 procent lub 20 członków, gdzie każda wersja ma 10 członków. Po teście A/B pozostałych 80 członków otrzymuje zwycięską wersję. Zawsze można dostosować początkowych odbiorców i rozkład do własnych potrzeb.

   

W tym przykładzie używamy testu A/B z grupą kontrolną. Wszystkie inne ustawienia są takie same jak w przykładzie.

Monitorowanie cyklu życia testów A/B

Po opublikowaniu danych podróży można ją otworzyć w celu kontrolowania cyklu życia testów.

• Wersja robocza: te testy nie zostały jeszcze przeprowadzone, więc nadal można edytować ustawienia.
• W toku: te testy są aktualnie uruchamiane. Ustawienia są zablokowane i nie można wprowadzać znaczących zmian.
• Zatrzymane: te testy zostały zatrzymane, a marketer może wybrać, którą wersję wysłać.
• Zakończone: te testy zostały zakończone przez znalezienie statystycznie istotnego zwycięzcy lub przez upłynięcie limitu czasu, jeśli zaplanowano zakończyć test w ustalonym dniu o ustalonej godzinie. Nie można ponownie użyć zakończonych testów.

Interpretacja wyników

Istnieją trzy możliwe wyniki testu A/B:

• Test zakończony z wyraźnym zwycięzcą: z testu wyciągnięto wniosek, że jedna wersja działa lepiej niż druga. Zwycięska wersja ma oznaczenie „zwycięzca” i jest dystrybuowana do wszystkich nowych klientów przechodzących przez proces pozyskiwania.
• Test nie był rozstrzygający: z testu wyciągnięto wniosek, że odbiorcy są równie skłonni do kontaktu z wersją A, jak wersją B. W takim przypadku wersja domyślna jest wysyłana do wszystkich nowych klientów, którzy przechodzą przez proces pozyskiwania.
• Test został zatrzymany: oznacza to, że Ty lub jeden ze współpracowników przerwaliście test, zanim mógł się zakończyć. W takim przypadku wersja określona przez Ciebie lub Twojego współpracownika jest wysyłana do nowych klientów, którzy przechodzą przez proces pozyskiwania.

Często zadawane pytania

1. Czy mogę przetestować A/B z więcej niż dwiema wersjami?
   • Nie, w tej chwili nie.
2. Dlaczego nie widzę opcji grupy kontrolnej dla podróży opartej na segmentach?
   • Jeśli dodasz gałąź atrybutów lub jakikolwiek element, który zmienia całkowitą liczbę segmentów, opcja grupy kontrolnej zniknie, ponieważ system nie wie, ilu klientów wstrzymać do czasu zakończenia testu.
3. Dlaczego mój test kończy się nieoczekiwanie?
   • Jeśli zdecydujesz się zakończyć test ze statystyczną istotnością, system spróbuje wyłonić zwycięzcę w ciągu pierwszych 30 dni od momentu opublikowania procesu pozyskiwania. Jeśli żadna wersja nie jest zwycięzcą, następuje koniec testu i wersja domyślna jest wysyłana do pozostałej części odbiorców.