A/B-тесты в Dynamics 365 Customer Insights - Journeys
Customer Insights - Journeys использует мощные тесты A/B для изучения ваших циклов взаимодействия с клиентами на основе триггеров, что позволяет получить представление о том, как лучше всего удовлетворить потребности ваших клиентов.
Используя тесты A/B, вы можете измерить, какой канал или стратегия отправки сообщений контента приводит к большему успеху. Каждый тест сравнивает контрольную группу пользователей (версия А) с вариантом (версия B). Контрольная группа получает работу системы по умолчанию. Группа варианта получает другую работу системы или сообщений. Сравнивая результаты групп, можно определить, какие из них наиболее эффективны.
Пример 1. Создание A/B-теста для циклов взаимодействия на основе триггеров
Давайте представим, что вы хотите протестировать два разных сообщения электронной почты в цикле взаимодействия на основе триггера, который активируется, когда кто-то совершает покупку.
Создайте свой первоначальный контент в редакторе электронной почты, как обычно. Доработайте контент и не забудьте проверить его на наличие ошибок, чтобы убедиться, что он может быть введен в действие.
Когда контент готов, перейдите в раздел Customer Insights - Journeys>Взаимодействие>Циклы взаимодействия и выберите существующий цикл взаимодействия с клиентом или создайте новый.
После того как вы выбрали цикл взаимодействия, выберите знак плюс (+), чтобы добавить элемент, а затем сделайте следующее:
- Выберите Тестирование двух вариантов для определения того, какой из них эффективнее.
- Выберите каналы, которые вы хотите протестировать. В этом примере вы хотите протестировать два сообщения электронной почты: выберите одно для версии A и другое для версии B, затем выберите Создать тест.
При выборе плитки теста A/B открывается боковая панель.
Панель содержит следующие параметры:
- Отображаемое имя: чтобы определить свой тест, введите его имя. Это имя отображается на панели A/B-тестирования и в аналитике цикла взаимодействия с клиентом, когда вы смотрите, какие тесты выполняются.
- Версии: выберите контент для канала, который вы подготовили на первом этапе (в данном случае это два сообщения электронной почты, которые вы хотите протестировать). Вы можете сделать это через раскрывающийся список, выбрав дочерние плитки в конструкторе цикла взаимодействия или сделав выбор на боковой панели.
- Начальный аудитория: это группа аудитории, которую вы хотели бы исключить из A/B-тестирования, пока не получите результаты. Эта опция доступна только для циклов взаимодействия на основе сегментов, поскольку у вас уже есть общее количество клиентов, которое поможет вам решить, сколько вы хотите исключить. В циклах взаимодействия на основе триггеров нет этой опции, так как клиенты входят, когда они завершают действие. Таким образом, общее количество клиентов, вошедших в цикл взаимодействия, неизвестно.
- Распределение экспериментов: выберите распределение аудитории, которое вы хотите использовать. Ползунок автоматически установлен на 50-50, но вы можете установить ползунок в положение желаемого распределения. Минимум, который может получить версия, составляет 10 процентов, а максимум — 90 процентов. Помните, что традиционно версия A является вашей контрольной группой, а версия B — вашим вариантом.
- Выигрышная метрика: вы можете установить выигрышное условие для теста, выбрав выигрышную метрику: версия с наиболее популярными событиями цели цикла взаимодействия, наибольшее время кликов или наибольшее число открываний. В этом случае вы хотите увеличить долю открытия, поэтому вы выбираете вариант доли открытия.
- Этот тест завершается: вы также можете выбрать между окончанием теста автоматически или в определенную дату и время. Разрешите тесту определять победителя автоматически, когда результаты достигают статистической значимости. Это означает, что как только будет определен явный победитель, система отправит выигрышную версию остальной вашей аудитории. Проигравшая версия удаляется. Если вы выберете статистическую значимость в качестве варианта завершения A/B-тестирования, но через 30 дней не будет явного победителя, система автоматически отправит версию по умолчанию.
- Версия по умолчанию: наконец, выберите версию по умолчанию в случае, если тест не закончится успешно. В случаях, когда определить победителя к указанным дате и времени не удается, автоматически отправляется версия по умолчанию.
К тому времени, когда вы все настроите и будете готовы опубликовать цикл взаимодействия, A/B-тест должен выглядеть так:
Пример 2. Создание A/B-теста для циклов взаимодействия на основе сегментов
Давайте представим, что вы хотите создать цикл взаимодействия, чтобы приветствовать новых участников, присоединившихся к вашей программе лояльности в этом месяце. Вы хотите увеличить коэффициент открытия, протестировав две разные строки темы писем.
Вы выполните шаги с первого по третий, описанные в первом примере, но заметите, что боковая панель выглядит по-другому. Это связано с тем, что для начала в циклах взаимодействия на основе сегментов у вас есть общее количество клиентов; это позволяет вам создавать два типа A/B-тестов.
A/B тест без контрольной группы: этот A/B-тест ведет себя аналогично циклам взаимодействия на основе триггеров, когда клиенты проходят тест по мере их поступления, пока не будет определен победитель.
A/B-тест с контрольной группой: это позволяет вам точно указать системе, на скольких клиентах вы хотите выполнить тестирование. Например, в вашем сегменте 100 участников программы лояльности, тогда вы хотите сначала протестировать 20 процентов или 20 участников, где каждую версию получат 10 участников соответственно. После A/B-тестирования оставшиеся 80 участников получат победившую версию. Вы всегда можете настроить начальную аудиторию и распределение по своему вкусу.
В этом примере мы будем проводить A/B-тестирование с контрольной группой. Все остальные настройки такие же, как в первом примере.
Мониторинг жизненного цикла A/B-тестов
После того как вы опубликовали свой цикл взаимодействия, вы можете открыть его, чтобы отслеживать жизненный цикл ваших тестов.
- Черновик: эти тесты еще не выполнялись, так что вы все еще можете редактировать настройки.
- Выполняется: это тесты, которые в настоящее время выполняются. Настройки заблокированы, и вы не можете внести существенные изменения.
- Остановлено: эти тесты остановлены, и маркетолог может выбрать, какую версию отправить.
- Завершено: эти тесты были завершены путем нахождения статистически значимого победителя или из-за истечения срока планового завершения в заданную дату и время. Завершенные тесты нельзя использовать повторно.
Понимание результатов
Есть три возможных результата теста A/B:
- Тест завершился явным победителем: тест пришел к выводу, что одна версия работает лучше, чем другая. Победившая версия имеет значок "победитель" и распространяется среди всех новых клиентов, которые проходят в цикле взаимодействия.
- Тест не показал убедительных результатов: тест пришел к выводу, что получатели взаимодействуют примерно одинаково с версией А и с версией B. В этом случае версия по умолчанию отправляется любым новым клиентам, которые привходят по циклу взаимодействия.
- Тест был остановлен: это означает, что вы или один из ваших коллег остановили тест, прежде чем он мог завершиться. В этом случае версия, указанная вами или вашим коллегой, отправляется всем новым клиентам, которые проходят по циклу взаимодействия.
Вопросы и ответы
- Могу ли я провести A/B-тест с более чем двумя версиями?
- Не в данный момент.
- Почему я не вижу параметр контрольной группы для циклов взаимодействия на основе сегментов?
- Если вы поместите ветку атрибута или любую плитку, которая изменит общее количество для сегмента, параметр контрольной группы исчезнет, потому что система не будет знать, сколько клиентов нужно исключить до завершения теста.
- Почему мой тест неожиданно заканчивается?
- Если вы выбрали завершение теста со статистической достоверностью, система попытается определить победителя в течение первых 30 дней с момента публикации цикла взаимодействия. Если ни одна версия не объявлена выигравшей, тест завершается, и версия по умолчанию отправляется оставшейся аудитории.