Udostępnij za pośrednictwem

Projektowanie i uruchamianie testów A/B dla swoich projektów wiadomości e-mail

  • Artykuł

Ważne

Ten artykuł dotyczy tylko marketingu wychodzącego, który zostanie usunięty z produktu 30 czerwca 2025 r. Aby uniknąć zakłóceń, przejdź na podróże w czasie rzeczywistym przed tą datą. Więcej informacji: Omówienie zmiany

Użyj testowania A/B wiadomości e-mail, aby dowiedzieć się, który z dwóch podobnych wzorów może być najbardziej udany, a następnie wysłać zwycięski projekt do pozostałych odbiorców automatycznie. Zaczynasz od utworzenia projektu kontrolnego (wersja „A”), a następnie użycia go jako podstawy do utworzenia wersji „B” projektu, w którym zmodyfikowano niewielką część (na przykład temat lub obraz). Na koniec uruchom test w ramach pozyskiwania klientów.

Proces pozyskiwania klienta uruchamia cały test automatycznie. Rozpoczyna od wysłania wersji A do niewielkiej części segmentu (np. 10% kontaktów, wybranych losowo), a także przesłania wersji B do innej części segmentu (zazwyczaj również 10%). Czeka na wybrany przez Ciebie okres czasu (na przykład 24 godziny), a następnie analizuje wyniki interakcji i wybiera zwycięzcę na podstawie wybranych kryteriów (takich jak większość otwartych). Proces pozyskiwania klienta następnie wysyła zwycięski projekt do reszty segmentu (pozostałe 80%) automatycznie.

Tworzenie marketingowej wiadomość e-mail dla testów A/B

Aby skonfigurować test A/B, zacznij od utworzenia projektu kontrolnego (będzie to wersja A), a następnie utwórz wersję B, w której tylko niewielka część projektu uległa zmianie. Każdy test A/B dopuszcza tylko jeden typ zmiany (np. nagłówek, treść lub pełna zawartość).

Uwaga

Można zdefiniować tylko jeden nowy test A/B dla tego samego projektu. Musisz poczekać, aż test A/B zostanie wykonany przed utworzeniem nowego testu.

Aby skonfigurować projekty A i B dla wiadomości:

  1. Utwórz początkowy (kontrolny) projekt w zwykły sposób, zgodnie z opisem w temacie Tworzenie nowej wiadomości e-mail i projektowanie jej zawartości. Udoskonal projekt jak najbardziej i upewnij się, czy zawiera błędy, aby upewnić się, że można go aktywować.

  2. Gdy skończysz projektowanie wersji A, wykonaj jedną z następujących czynności:

    • Wybierz przycisk testu A/B w prawym górnym rogu edytora wiadomości e-mail, aby otworzyć panel testu A/B.
    • Jeśli jeszcze nie zdefiniowano żadnego testu dla tej wiadomości e-mail, wybierz przycisk Dodaj test na panelu testu A/B.
    • Jeśli masz już zdefiniowany test, możesz modyfikować wersje A i B, przełączając się między wersjami.

    Otwórz panel testu A/B.

  3. Zostaną wyświetlone parametry nowego testu. Wykonaj następujące czynności:

    • W polu Typ testu ustaw jedną z następujących wartości: — Nagłówek (temat, nadawca wiadomości e-mail): pozwala wybrać inny temat lub inny adres „Od” dla wersji B projektu. Odbiorcy zobaczą nazwę z pola „Od” jako nazwę nadawcy wiadomości. Nie zmieni to rzeczywistego adresu z pola „Od”, który pozostanie taki sam dla obu wersji.- Treść: pozwala wybrać jeden lub więcej elementów projektu w treści wiadomości e-mail, a następnie zmienić ustawienia, zawartość lub wygląd tych elementów w wersji B projektu.- Pełna zawartość: pozwala wybrać inny temat, nazwę z pola „Od” lub co najmniej jeden element projektu w treści wiadomości e-mail, a następnie zmienić ustawienia, zawartość lub wygląd tych elementów w wersji B projektu.
    • Wypełnij pole Tytuł testu, aby identyfikować test. Ten tyłu jest wyświetlany w panelu Test A/B i na kafelku wiadomości e-mail dla pozyskiwania klientów podczas wybierania testu do wykonania dla tego procesu.

    Dodaj nowy test.

    Ważne

    W danym momencie można zdefiniować tylko jeden nowy test A/B. Nowy test można dodać dopiero po wykonaniu poprzedniego testu.

    Uwaga

    Każdy test można uruchomić tylko raz, na pojedynczym kafelku e-mail w jednym procesie pozyskiwania klienta. Jak tylko skonfigurujesz wykonywanie testu w procesie pozyskiwania klientów, nie będziesz w stanie wybrać tego testu dla innych kafelków e-mail ani procesów pozyskiwania klientów. Jeśli chcesz uruchomić kilka testów na jednym projekcie, dodaj nowy test do panelu Test A/B po wykonaniu poprzedniego. Aby usunąć test A/B z wiadomości, wybierz przycisk kosza.

  4. Nowy test wybranego typu zostanie teraz dodany do sekcji Nowy panelu Test A/B. Należy zwrócić uwagę na następujące kwestie:

    • W danym momencie możesz uruchomić tylko jeden nowy test.
    • Sekcja Aktywne panelu Test A/B zawiera zarówno aktualnie uruchomiony test A/B, jak i wszystkie poprzednie testy A/B dla wiadomości.
    • Wybierz test z panelu testów A/B, aby pracować z tym testowi. Po wybraniu testu jego wpis jest rozwinięty w celu pokazania przycisków Wersja A i Wersja B umożliwiających pracę z tym testem.
    • Możesz zmienić typ lub tytuł testu. Tytuł testu jest wyświetlany na kafelku wiadomości e-mail dla pozyskiwania klientów podczas wybierania testu do uruchomienia dla tego procesu.
    • W przypadku testów nagłówkowych parametry kontrolowane przez wybrany test (temat i nazwa „Od”) są wyświetlane jako A icon Ikona wersji A lub ikona B Ikona wersji B. aby wskazać, co testujesz i która wersja jest wyświetlana (i edytowalna). Ikona zmieni się tak, aby odpowiadała wybraemui przyciskowi wersji (Wersja A lub Wersja B ).
    • Dla testów treści każdy element badany pokazuje kolorową ramkę wokół niego (po zaznaczeniu), która odpowiada kolorowi wybranego przycisku wersji (niebieski dla wersji A lub różowy dla wersji B ). Zobacz następny krok, aby uzyskać szczegółowe informacje dotyczące sposobu ustawiania tego.

    Przyciski wersji, testy i wskaźniki dla testu nagłówka.

  5. Wybierz test z panelu testów A/B, a następnie wybierz przycisk Wersja B. Wykonaj jedną z następujących czynności, w zależności od typu testu, który robisz:

    • W przypadku testów nagłówka pola Temat i Nazwa Od powinny teraz pokazywać ikonę B Ikona wersji B.. Wprowadź w tym miejscu nowy temat tutaj lub nazwę „Od”.
    • W testach treści w celu dodania elementu do testu zaznacz go na kanwie, aby go podświetlić, a następnie wybierz przycisk A/B Ikona dla nieprzetestowanego elementu treści na karcie u góry podświetlonej ramki. Jest to przycisk przełączania, więc można wybrać go ponownie, aby usunąć element z testu pokazuje białą ikonę tła Ikona testowanego elementu treści dla elementów badanych i pokazuje ciemnoniebieskie tło Ikona dla nieprzetestowanego elementu treści dla elementów, które są takie same dla każdej wersji. W testowanych elementach kolor ramki wskazuje wersję: jasnoniebieski to wersja A, a ciemnoróżowy wersja B. Można dodać dowolną liczbę elementów, jak chcesz do testu, ale zazwyczaj najlepiej przetestować tylko kilka elementów (lub jeden element) naraz.

    Przyciski wersji, testy i wskaźniki dla testu treści.

  6. Teraz zmień projekt elementów, które zostały włączone do testowania. W przypadku testów nagłówka należy edytować tekst odpowiednich pól; w przypadku testów treści można edytować zawartość tekstową dla elementów tekstowych lub karty Właściwości dla innych typów elementów projektu. Można przełączać się w te i z powrotem między wersjami przy użyciu przycisków Wersjia A i Wersja B, aby porównać wersje dla wybranego testu i kontynuować edycję każdej wersji, podczas gdy jest ona wyświetlana.

    Uwaga

    Nawet po włączeniu testowania A/B nadal można edytować części wiadomości, które nie są częścią żadnych testów. Po wykonaniu tej czynności zmiany będą miały wpływ na wszystkie wersje (wersja A i wszystkie wersje B), niezależnie od tego, który przycisk testu i wersji jest aktualnie zaznaczony. Ale Jeśli edytujesz ustawienie, które jest włączone do testowania, to edytujesz tylko wybraną wersję za pomocą przycisków Wersja A i Wersja B. Należy pamiętać, że wersja A jest taka sama dla wszystkich testów, ale wersja B jest unikatowa dla każdego testu.

    Należy zachować ostrożność podczas dodawania nowych elementów projektu do wiadomości, która ma już zestaw testów treści. Po wykonaniu tej czynności należy zawsze upewnić się, że nowe elementy są w pełni zdefiniowane z poprawną zawartością i ustawieniami dla każdej wersji każdego testu.

  7. Po zakończeniu konfigurowania projektów i nowego testu A/B wybierz pozycję Aktywuj, aby udostępnić wiadomość do użycia w procesie pozyskiwania klientów.

Przygotuj się do wykonania testu z procesu pozyskiwania klientów

Gdy wiadomość e-mail jest gotowa do przetestowania, użyj procesu pozyskiwania klientów, aby ją wysłać. Wiadomości e-mail typu test A/B można uwzględnić w dowolnym typie procesu, niezależnie od złożoności i w tym procesy pozyskiwania klientów, które są używane w kampanii produkcyjnej. Strategia polega na wysłaniu każdego projektu do małej części pełnego segmentu będącego celem procesu, poczekaj, aby zobaczyć, jak Ci adresaci zareagują na każdą wersję wiadomości, a następnie wyślij najlepiej sprawdzający się komunikat do reszty segmentu. Można wybrać kryteria sukcesu (większa liczba kliknięć lub częstość otwierania), a także na jak długo uruchomić test.

Ważne

Aby uzyskać wiarygodne wyniki testów, należy zawsze wysyłać każdą wersję (A i B) do minimum 100 adresatów przed zezwoleniem systemowi na wybór zwycięzcy. Typowa zalecana konfiguracja będzie używać segmentu 1 000-członków (lub większych) z dystrybucji testowej, która wysyła wersję A do 10% segmentu, wersja B do innego 10%, a następnie wysyła zwycięskiego projektu do pozostałych 80%.

Jest to możliwe, aby uruchomić test A/B z zaledwie jednego lub kilku adresatów dla każdej wersji, ale może to często prowadzić do nierównych lub nielosowych dystrybucji wersji i zawodne wyniki końcowe. Zalecamy, aby to zrobić tylko podczas eksperymentowania z funkcją.

Aby dodać test A/B do procesu pozyskiwania klientów:

  1. Skonfiguruj proces pozyskiwania klientów jak zwykle, i pamiętaj, aby dołączyć jeden lub więcej kafelków e-mail, gdzie można umieścić swoje wiadomości e-mail testu A/B.

  2. Wybierz kafelek wiadomości e-mail do uwzględnienia w potoku procesu pozyskiwania klientów i otwórz kartę Właściwości w panelu bocznym, aby rozpocząć konfigurowanie kafelka.

  3. W polu Treść marketingowej wiadomości e-mail w panelu Właściwości wybierz wiadomość e-mail, którą ustawisz do testowania A/B. Należy zauważyć, że gdy wiadomość, która ma zaprojektowany test A/B, ma w rogu kafelka ikony A i B. Są one wyświetlane w kolorze szarym, ponieważ nie ustawiono jeszcze testu dla tego kafelka (zmieni kolor na niebieski po włączeniu testu).

    Kafelek wiadomości e-mail z ikonami A i B.

  4. Przewiń w dół panel Właściwości, aż zobaczysz przycisk przełączania Testowanie A/B, a następnie wybierz go, aby włączyć test. Spowoduje to otwarcie ustawień testu A/B.

    Ustawienia testu A/B.

    Uwaga

    Jeśli wybierzesz wiadomość e-mail z projektami A i B, ale nie włączysz testów A/B dla kafelka, wersja A zostanie wysłana do wszystkich adresatów.

  5. Aby skonfigurować test, należy wybrać następujące ustawienia:

    • Wybierz test A/B: Wybrany projekt wiadomości e-mail musi mieć co najmniej jeden zestaw testów, który nie był użyty, ale może mieć więcej. Wybierz nazwę testu, który chcesz wykonać dla tego kafelka. Można uruchomić co najwyżej jeden test naraz.
    • Dystrybucja A/B: Ustaw suwak, aby wybrać do ile kontaktów (jako procent łącznej liczby kontaktów w segmencie docelowym) chcesz dołączyć do testu. Połowa testu odbiorcy otrzyma wersję A, a druga połowa otrzyma wersję B. Wszystkie kontakty testowe i wersje, które wybierają są wybierane losowo.
    • Zwycięska metryka: Wybierz, czy chcesz zdecydować o zwycięskim projekcie na podstawie współczynnika klikania (jak często odbiorca kliknął na link w wiadomości) lub na podstawie współczynnika częstotliwości otwierania (jak często odbiorca otworzył wiadomość). W każdym przypadku zwycięża wersja, która wyprodukowała najwięcej kliknięć lub otwiera się jako odsetek całkowitej liczby wysłań tej wersji.
    • Czas trwania testu: Użyj tych ustawień, aby ustalić, na jak długo należy uruchomić test. Aby uzyskać najlepsze wyniki, zaleca się uruchamianie każdego testu przez co najmniej 24 godziny lub dłużej, jeśli to możliwe — szczególnie w przypadku obierania na celu odbiorców z całego świata (aby skompensować strefy czasowe). Pod koniec tego czasu, system będzie analizować wyniki i wysłać zwycięski projekt do pozostałych kontaktów w segmencie. Kontakt, który otrzymał "przegrywający" projekt nie otrzyma ponownie zwycięskiego projektu.
    • Jeśli wyniki są niejednoznaczne, wyślij: Wybierz co zrobić, jeśli test nie przyniesie wyraźnego zwycięzcy. W takim przypadku można wybrać opcję wysłania wersji A, wersji B lub losową wersję na podstawie sznas 50/50 do wszystkich pozostałych kontaktów.

    Uwaga

    Zwycięzca jest wybierany przy użyciu hipotezy zerowej. W przypadku dużych zestawów z co najmniej 1000 kontaktów poziom ufności dla zwycięskiego wariantu musi wynieść co najmniej 95%. W mniejszych zestawach poziom ufności może wynosić zaledwie 80%. Jeśli warianty różnią się stosunkowo niewielką liczbą kontaktów, wyniki badań prawdopodobnie zostaną uznane za niejednoznaczne.

    Innymi słowy, zwycięzcą testu A/B nie jest automatycznie wariant z większą liczbą kontaktów. Zamiast tego zwycięzcą jest wariant, który pokazuje statystycznie istotny wynik.

  6. Zakończ konfigurowanie procesu pozyskiwania klienta w zwykły sposób i aktywuj go.

Monitorowanie cyklu życia testów A/B

Każdy test zdefiniowany dla danej wiadomości e-mail można uruchomić tylko raz. Gdy tylko test zacznie być przetwarzany przez pozyskiwanie klientów lub został przetworzony, nie będzie można go ponownie używać w żadnym innym procesie pozyskiwania klientów. W rezultacie czasami można próbować skonfigurować test A/B dla kafelka wiadomości e-mail w procesie pozyskiwaniu klientów i zostać zaskoczonym, gdy nie można wybrać testu, który chce się uruchomić. W takim przypadku można po prostu dodać kolejny test.

Aby wyświetlić stan uruchomienia każdego testu A/B zdefiniowanego w wiadomości e-mail, otwórz wiadomość i rozwiń panel Test A/B. Każdy test dostępny dla wiadomości jest wymieniony pod jednym z poniższych nagłówków. Każdy nagłówek zawiera przycisk rozwijania/zwijania, który służy do pokazywania lub ukrywania testów w każdej kategorii.

  • Wersja robocza: są to testy, które nie zostały jeszcze uruchomione, więc nadal można edytować ich ustawienia i wybierać je podczas konfigurowania kafelka wiadomości e-mail dla pozyskiwania klientów.
  • Zaplanowano: są to testy, które już skonfigurowano do wykonania w procesie pozyskiwanie klientów, ale ten proces jeszcze się nie rozpoczął. Ich ustawienia są zablokowane i nie można ich uruchomić w żadnym innym pozyskiwaniu klientów.
  • W toku: są to testy, które są aktualnie uruchamiane. Ich ustawienia są zablokowane i nie można ich uruchomić w żadnym innym pozyskiwaniu klientów.
  • Zakończono: są to testy, które się zakończyły i nie można ich ponownie użyć. Aby wyświetlić wyniki, przejdź do pozyskiwania klientów, w którym uruchomiono test.

Wyświetlanie stanu przebiegu testu A/B.

Sprawdź wyniki

Możesz sprawdzić postęp i wyniki testów A/B w dowolnym momencie, sprawdzając kafelki wiadomości e-mail w procesie pozyskiwania klientów. Aby to zrobić:

  1. Otwórz proces pozyskiwania klientów.

  2. Wybierz kafelek wiadomości e-mail, na którym uruchomiono test A/B.

  3. Przewiń w dół do dolnej części panelu Dane dla wybranego kafelka wiadomości e-mail. Tutaj wyświetlona zostanie nazwa testu, procent kontaktów, do których wysłano każdą wersję (w tym zwycięską wersję), ile czasu pozostało do zakończenia testu oraz który projekt został uznany za zwycięzcę (pod warunkiem, że test się zakończył).

    Wyniki testu A/B.

  4. Wybierz łącze Wyświetl szczegóły tutaj, aby uzyskać jeszcze więcej informacji na temat wyników testu. Spowoduje to otwarcie okna dialogowego, które pokazuje kluczowe wskaźniki wydajności dla każdego projektu w teście. Aby uzyskać więcej informacji na temat różnych wskaźników KPi oraz jak je interpretować, zobacz Słownik pojęć.

    Szczegółowe wyniki testu A/B.

Wyniki testu A/B możesz również zobaczyć, otwierając samą wiadomość. Z poziomu wiadomości otwórz panel Test A/B, rozwiń kategorię testów Zakończono i naciśnij przycisk Wyniki analiz testu dla testu, który chcesz obejrzeć.

Zrzut ekranu przedstawiający przycisk Testuj szczegółowe informacje.

Zastępowanie wersji A wersją B po zakończeniu testu

Niezależnie od wyników testu A/B wersja A pozostanie standardową wersją wiadomości. Przyszłe testy będą nadal testować wersję A, a wszystkie procesy pozyskiwania klienta, które nie wykonują testu A/B, będą wysyłać wszystkim adresatom wersję A. W związku z tym, a zwłaszcza jeśli wersja B wygrywa test, można rozważyć ustawienie tej wersji B jako nowej wersji A na przyszłość.

Uwaga

W przypadku zastąpienia wersji A wersją B wersja A zostanie trwale usunięta i zastąpiona wersją B z wybranego testu. Nie możesz tego cofnąć.

Aby zamienić wersję A na wersję B z wybranego testu:

  1. Otwórz wiadomość, w której zakończył się test A/B.

  2. Rozwiń panel Test A/B, aby wyświetlić listę testu.

  3. W panelu Test A/B rozwiń kategorię testów Zakończono.

  4. Wybierz test, w którym wersja B jest tą, którą chcesz ustawić jako nową wersję A, i naciśnij przycisk Zamień na wersję B.

    Zamień na wersję przycisku B.

  5. Zostanie wyświetlony monit o potwierdzenie działania. Jeśli na pewno chcesz kontynuować, potwierdź, a następnie zapisz wiadomość.