A/B-тесты в Dynamics 365 Customer Insights - Journeys

Customer Insights - Journeys использует мощные A/B-тесты для изучения циклов взаимодействия с клиентом на основе триггеров, что позволяет вам понять, как лучше всего охватить клиентов.

Используя тесты A/B, вы можете измерить, какой канал или стратегия отправки сообщений контента приводит к большему успеху. Каждый тест сравнивает контрольную группу пользователей (версия А) с вариантом (версия B). Контрольная группа получает работу системы по умолчанию. Группа варианта получает другую работу системы или сообщений. Сравнивая результаты групп, можно определить, какие из них наиболее эффективны.

A/B-тестирование требует значительного размера аудитории, чтобы быть эффективным. Тестирование аудитории менее 1 000 человек может привести к неожиданным результатам, например к неравномерному распределению вариантов. Проведение тестов на очень малых группах почти всегда приводит к непропорциональным распределениям. Например, если ваша аудитория состоит всего из десяти участников, возможно, что один из них перейдет к варианту А, а девять — к варианту Б. Это ожидаемое поведение, когда размер аудитории настолько мал, что статистической модели не хватает данных для достижения требуемого распределения.

Пример 1. Создание A/B-теста для циклов взаимодействия на основе триггеров

Представьте, что вы хотите протестировать два разных письма в цикле взаимодействия на основе триггеров, который активируется, когда кто-то совершает покупку.

1. Создайте свой первоначальный контент в редакторе электронной почты, как обычно. Совершенствуйте контент и проверяйте его на наличие ошибок, чтобы убедиться, что он может быть опубликован.
2. Когда контент готов, перейдите в раздел Customer Insights - Journeys>Взаимодействие>Циклы взаимодействия и выберите существующий цикл взаимодействия с клиентом или создайте новый.
3. После выбора цикла взаимодействия щелкните значок плюса (+), чтобы добавить элемент, а затем выполните следующие действия:
   • Выберите Тестирование двух вариантов для определения того, какой из них эффективнее.

• Выберите каналы, который требуется протестировать. В этом примере вы хотите протестировать два сообщения электронной почты: выберите одно для версии A и другое для версии B, затем выберите Создать тест.

1. При выборе плитки теста A/B открывается боковая панель.

   

   Панель содержит следующие параметры:

• Отображаемое имя: чтобы определить свой тест, введите его имя. Это имя отображается на панели A/B-тестирования и в аналитике цикла взаимодействия с клиентом, когда вы смотрите, какие тесты выполняются.
• Версии: выберите контент для канала, который вы подготовили на первом шаге (в данном случае, два письма, которые вы хотите протестировать). Вы можете сделать это через раскрывающийся список, выбрав дочерние плитки в конструкторе цикла взаимодействия или сделав выбор на боковой панели.
• Первоначальная аудитория: это группа аудитории, которую вы хотите удержать от A/B-тестирования до получения результатов. Этот вариант доступен только для циклов взаимодействия на основе сегментов, так как у вас уже есть общее количество клиентов, которые помогут вам решить, сколько клиентов вы хотите удержать. В циклах взаимодействия на основе триггеров нет этой опции, так как клиенты входят, когда они завершают действие. Таким образом, общее количество клиентов, вошедших в цикл взаимодействия, неизвестно.
• Распределение экспериментов: выберите нужное распределение аудитории. Ползунок автоматически установлен на 50-50, но вы можете установить ползунок в положение желаемого распределения. Минимум, который может получить версия, составляет 10 процентов, а максимум — 90 процентов. Помните, что традиционно версия A является вашей контрольной группой, а версия B — вашим вариантом.
• Метрика для определения победителя: задайте условие определения победителя для теста, выбрав метрику для определения победителя: версию с наибольшим количеством достигнутых событий в цикле взаимодействия, наибольшим количеством щелчков мышью или наибольшим количеством открытий. В этом случае вы хотите увеличить долю открытия, поэтому вы выбираете вариант доли открытия.
• Этот тест заканчивается: вы можете выбрать между автоматическим завершением теста или завершением в определенную дату и время. Определение победителя тестом происходит автоматически, когда результаты достигают статистической значимости. Это означает, что как только будет определен явный победитель, система отправит победившую версию остальной аудитории. Проигравшая версия удаляется. Если вы выберете статистическую значимость в качестве варианта завершения A/B-тестирования, но через 30 дней не будет явного победителя, система автоматически отправит версию по умолчанию. Если вы закончите тест раньше, освобождение контрольной группы может занять до четырех часов.
• Версия по умолчанию: наконец, выберите версию по умолчанию в случае, если тест не закончится успешно. Если победитель не определен к крайнему сроку, указанному в дате и времени, автоматически отправляется версия по умолчанию.

1. A/B-тест должен выглядеть следующим образом, когда вы все настроите и будете готовы опубликовать цикл взаимодействия:

   

Пример 2. Создание A/B-теста для циклов взаимодействия на основе сегментов

Представьте, что вы хотите создать цикл взаимодействия, чтобы приветствовать новых участников, которые присоединились к вашей программе лояльности в этом месяце. Вы хотите увеличить коэффициент открытия, протестировав две разные строки темы писем.

Вы выполните шаги с первого по третий, описанные в первом примере, но заметите, что боковая панель выглядит по-другому. Это связано с тем, что для начала в циклах взаимодействия на основе сегментов у вас есть общее количество клиентов; это позволяет вам создавать два типа A/B-тестов.

1. A/B-тестирование без контрольной группы: этот A/B-тест работает аналогично циклам взаимодействия на основе триггеров, где клиенты проходят тест по мере своего прихода, пока не будет определен победитель.

   

2. A/B-тест с контрольной группой: это позволяет вам точно сообщить системе, сколько клиентов вы хотите протестировать. Например, если в вашем сегменте 100 участников программы лояльности, вы можете сначала протестировать 20 процентов или 20 участников, где каждая версия получает 10 участников. После A/B-тестирования оставшиеся 80 участников получают выигрышную версию. Вы всегда можете настроить начальную аудиторию и распределение по своему вкусу.

   

Для этого примера мы используем A/B-тест с контрольной группой. Все остальные настройки такие же, как в первом примере.

Мониторинг жизненного цикла A/B-тестов

После того как вы опубликовали свой цикл взаимодействия, вы можете открыть его, чтобы отслеживать жизненный цикл ваших тестов.

• Черновик: эти тесты еще не выполнялись, так что вы все еще можете редактировать настройки.
• Выполняется: это тесты, которые в настоящее время выполняются. Настройки заблокированы, и вы не можете внести существенные изменения.
• Остановлено: эти тесты остановлены, и маркетолог может выбрать, какую версию отправить.
• Завершено: эти тесты были завершены путем нахождения статистически значимого победителя или из-за истечения срока планового завершения в заданную дату и время. Завершенные тесты нельзя использовать повторно.

Понимание результатов

Есть три возможных результата теста A/B:

• Тест завершился явным победителем: тест пришел к выводу, что одна версия работает лучше, чем другая. Победившая версия имеет значок "победитель" и распространяется среди всех новых клиентов, которые проходят в цикле взаимодействия.
• Тест не показал убедительных результатов: тест пришел к выводу, что получатели взаимодействуют примерно одинаково с версией А и с версией B. В этом случае версия по умолчанию отправляется любым новым клиентам, которые привходят по циклу взаимодействия.
• Тест был остановлен: это означает, что вы или один из ваших коллег остановили тест, прежде чем он мог завершиться. В этом случае версия, указанная вами или вашим коллегой, отправляется всем новым клиентам, которые проходят по циклу взаимодействия.

Вопросы и ответы

1. Могу ли я провести A/B-тест с более чем двумя версиями?
   • Нет, на данный момент нет.
2. Почему я не вижу параметр контрольной группы для циклов взаимодействия на основе сегментов?
   • Если вы добавите ветвь атрибута или любую плитку, которая изменяет общее количество сегментов, параметр контрольной группы исчезнет, потому что система не знает, сколько клиентов нужно удержать до завершения теста.
3. Почему мой тест неожиданно заканчивается?
   • Если вы решите завершить тест со статистической значимостью, система попытается определить победителя в течение первых 30 дней с момента публикации цикла взаимодействия с клиентом. Если ни одна версия не объявлена выигравшей, тест завершается, и версия по умолчанию отправляется оставшейся аудитории.