Testy A/B w aplikacji Dynamics 365 Customer Insights - Journeys

Customer Insights - Journeys wykorzystuje zaawansowane testy A/B do sprawdzania procesów pozyskiwania klientów opartych na wyzwalaczu, co pozwala uzyskać szczegółowe informacje o tym, jak najlepiej dotrzeć do klientów.

Przy użyciu testów A/B można zmierzyć, który kanał lub strategia przesyłania wiadomości treści prowadzi do większego sukcesu. Każdy test porównuje grupę kontrolną użytkowników (wersja A) z wariantem (wersja B). Grupa kontrolna otrzymuje środowisko domyślne. Grupa wariantów otrzymuje inne środowisko lub wiadomość. Porównując wyniki grup, można określić, która jest najbardziej skuteczny.

Przykład 1: Tworzenie testów A/B dla podróży opartych na wyzwalaczu

Załóżmy, że chcesz przetestować dwie różne wiadomości e-mail na podstawie wyzwalanego powiadomienia, które jest aktywowane, gdy ktoś ukończy zakup.

1. Utwórz początkową zawartość w edytorze wiadomości e-mail, jak zwykle. Udoskonal zawartość jak najbardziej i upewnij się, czy zawiera błędy, aby upewnić się, że można ją aktywować.

2. Gdy zawartość będzie gotowa, przejdź do obszaru Customer Insights - Journeys>Zaangażowanie>Procesy pozyskiwania i wybierz istniejący proces pozyskiwania lub utwórz nowy.

3. Po wybraniu procesu pozyskiwania wybierz znak plus (+), aby dodać element, a następnie wykonaj następujące czynności:

   • Wybierz opcję Sprawdź, która odmiana działa lepiej.
   • Wybierz kanały, które chcesz przetestować. W tym przykładzie chcesz przetestować dwie wiadomości e-mail: wybierz jedną dla wersji A i jedną dla wersji B, a następnie wybierz opcję Utwórz test.

4. Po wybraniu kafelka testowego A/B zostanie otwarte okienko boczne.

   

   Okienko musi zawierać następujące parametry:

   • Wyświetlana nazwa: aby zidentyfikować test, wprowadź jego nazwę. Ta nazwa jest wyświetlana w okienku testu A/B i w analizie pozyskiwania klientów, gdy patrzy się na uruchomione testy.
   • Wersje: wybierz zawartość kanału przygotowanego w kroku pierwszym (w tym przypadku dwie wiadomości e-mail, które chcesz przetestować). Można to zrobić za pomocą listy rozwijanej, wybierając kafelki podrzędne w konstruktorze podróży lub wybierając opcję na panelu bocznym.
   • Początkowi odbiorcy: jest to grupa odbiorców, którą chcesz wstrzymać w teście A/B do uzyskania wyników. Ta opcja jest dostępna tylko w przypadku segmentów, ponieważ łączna liczba klientów pomaga określić, ilu klientów ma zostać wstrzymanych. Ta opcja nie jest dostępna dla podróży opartych na wyzwalaczu, ponieważ klienci dołączają po zakończeniu akcji. Z tego względu nie jest znana łączna liczba klientów, którzy dołączają do podróży.
   • Rozkład eksperymentalny: wybierz odbiorców, do których chcesz rozsyłać. Suwak jest automatycznie ustawiany na 50-50, ale można ustawić go na żądaną dystrybucję. Minimum dla wersji to 10 procent, a maksimum — 90 procent. Pamiętaj, że tradycyjnie wersja A jest grupą kontrolną, a wersja B jest wariantem.
   • Zwycięska metryka: możesz ustawić warunek wygranej dla testu, wybierając zwycięską metrykę: wersję z największą liczbą osiągniętych celów dla zdarzeń procesu pozyskiwania, największą liczbę kliknięć lub największą liczbę otwarć. W tym przypadku należy zwiększyć otwarte stawki, tak aby można było wybrać opcję otwartej stawki.
   • Ten test kończy się: można również wybrać automatyczne zakończenie testu lub w określonym dniu i godzinie. Automatyczne określenie zwycięzcy testu po osiągnięciu znaczącego poziomu statystyki. Oznacza to, że po ustaleniu wyraźnego zwycięzcy system wysyła zwycięską wersję do reszty odbiorców. Gorsza wersja jest odrzucana. Jeśli zostanie wybrana istotność statystyczna jako opcja zakończenia testu A/B, ale nie będzie wyraźnego zwycięzcy po 30 dniach, system automatycznie wyśle wersję domyślną.
   • Wersja domyślna: na koniec wybierz wersję domyślną, jeśli test nie zakończy się pomyślnie. W przypadkach, gdy rezultat nie został określony w podanym przez datę i godzinę terminie, automatycznie wysyłana jest wersja domyślna.

5. Test A/B powinien wyglądać tak po skonfigurowaniu wszystkich ustawień i gdy można rozpocząć publikowanie podróży:

   

Przykład 2: Tworzenie testów A/B dla podróży opartych na segmencie

Załóżmy, że chcesz utworzyć podróż, aby powitać nowych członków, którzy w tym miesiącu dołączyli do programu lojalnościowego. Chcesz zwiększyć współczynnik otwarcia, testując dwa różne wiersze tematu.

Trzeba wykonać kroki od jeden do trzy w zarysie pierwszego przykładu, ale okienko boczne wygląda inaczej. To dlatego, że w przypadku segmentów można rozpocząć od łącznej liczby klientów. Umożliwia to utworzenie dwóch typów testów A/B.

1. Test A/B bez grupy kontrolnej: ten test A/B zachowuje się podobnie do testów opartych na wyzwalaczach, gdzie klienci przechodzą przez test w obecnej postaci do momentu określenia zwycięzcy.

   

2. Test A/B z grupą kontrolną: pozwala to dokładnie sprawdzić, ilu klientów chcesz przetestować w systemie. Na przykład w tym segmencie jest 100 członków programu lojalnościowego, więc najpierw trzeba przetestować 20 procent lub 20 członków, z których każda wersja będzie otrzymywać odpowiednio 10 członków. Po zakończeniu testu A/B pozostałych 80 członków otrzyma wersję wygraną. Zawsze można dostosować początkowych odbiorców i rozkład do własnych potrzeb.

   

W tym przykładzie test A/B jest testem z grupą kontrolną. Wszystkie inne ustawienia są takie same jak w przykładzie.

Monitorowanie cyklu życia testów A/B

Po opublikowaniu danych podróży można ją otworzyć w celu kontrolowania cyklu życia testów.

• Wersja robocza: te testy nie zostały jeszcze przeprowadzone, więc nadal można edytować ustawienia.
• W toku: te testy są aktualnie uruchamiane. Ustawienia są zablokowane i nie można wprowadzać znaczących zmian.
• Zatrzymane: te testy zostały zatrzymane, a marketer może wybrać, którą wersję wysłać.
• Zakończone: te testy zostały zakończone przez znalezienie statystycznie istotnego zwycięzcy lub przez upłynięcie limitu czasu, jeśli zaplanowano zakończyć test w ustalonym dniu o ustalonej godzinie. Nie można ponownie użyć zakończonych testów.

Interpretacja wyników

Istnieją trzy możliwe wyniki testu A/B:

• Test zakończony z wyraźnym zwycięzcą: z testu wyciągnięto wniosek, że jedna wersja działa lepiej niż druga. Zwycięska wersja ma oznaczenie „zwycięzca” i jest dystrybuowana do wszystkich nowych klientów przechodzących przez proces pozyskiwania.
• Test nie był rozstrzygający: z testu wyciągnięto wniosek, że odbiorcy są równie skłonni do kontaktu z wersją A, jak wersją B. W takim przypadku wersja domyślna jest wysyłana do wszystkich nowych klientów, którzy przechodzą przez proces pozyskiwania.
• Test został zatrzymany: oznacza to, że Ty lub jeden ze współpracowników przerwaliście test, zanim mógł się zakończyć. W takim przypadku wersja określona przez Ciebie lub Twojego współpracownika jest wysyłana do nowych klientów, którzy przechodzą przez proces pozyskiwania.

Często zadawane pytania

1. Czy mogę przetestować A/B z więcej niż dwiema wersjami?
   • Obecnie nie.
2. Dlaczego nie widzę opcji grupy kontrolnej dla podróży opartej na segmentach?
   • Jeśli zostanie wprowadzone odgałęzienie atrybutu lub dowolny kafelek, który zmieni łączną liczbę segmentów, opcja grupy kontrolnej zostanie zakończona, ponieważ system nie będzie wiedzieć, ilu klientów należy utrzymać do czasu ukończenia testu.
3. Dlaczego mój test kończy się nieoczekiwanie?
   • Jeśli wybrano opcję zakończenia testu z istotnością statystyczną, system próbuje uzyskać zwycięzcę w ciągu pierwszych 30 dni od chwili opublikowania podróży. Jeśli żadna wersja nie jest zwycięzcą, następuje koniec testu i wersja domyślna jest wysyłana do pozostałej części odbiorców.