Разработка и запуск A/B-тестов ваших макетов сообщений электронной почты

Внимание!

Эта статья относится только к исходящему маркетингу, который будет удален из продукта 30 июня 2025 года. Чтобы избежать перебоев, переходите на циклы взаимодействия в реальном времени до этой даты. Дополнительные сведения: Обзор перехода

Используйте A/B-тестирование электронной почты, чтобы узнать, какой из двух похожих вариантов дизайна будет более успешным, а затем отправлять выигравший вариант оставшейся аудитории автоматически. Вы начинаете с создания дизайна элемента управления (версии "А"), а затем используете его в качестве основы для создания версии дизайна "B", в которой вы изменили небольшую его часть (например, тему или изображение). Наконец, запустите тест в рамках цикла взаимодействия с клиентом.

В рамках цикла взаимодействия весь текст выполняется автоматически. Он начинается с отправки версии А небольшой части вашего сегмента (например, 10% контактов, выбранных случайным образом), а также отправки версии B другой части сегмента (обычно также 10%). После этого он ждет в течение определенного периода времени, который вы выбираете (например, 24 часа), а затем анализирует результаты взаимодействия и выбирает победителя на основе выбранных критериев (например, по наибольшему числу открытых сообщений). После этого цикл рассылает выигравший вариант дизайна остальной части сегмента (остальные 80%) автоматически.

Создание маркетингового сообщения электронной почты для A/B-тестирования

Чтобы настроить тест A/B, начните с создания дизайна элемента управления (это будет версия A), затем создайте версию B, где изменилась лишь небольшая часть дизайна. Каждый A/B-тест допускает только один тип изменения (например, заголовок, текст или все содержимое).

Заметка

Можно определить только один новый A/B-тест для одного и того же дизайна. Перед созданием нового теста необходимо подождать, пока не будет выполнен A/B-тест.

Чтобы настроить дизайн A и B для сообщения:

1. Создайте свой первоначальный дизайн (элемента управления), как обычно, как описано в разделе Создание нового сообщения электронной почты и разработка его содержимого. Как можно в большей степени доработайте дизайн и не забудьте проверить его на наличие ошибок, чтобы убедиться, что он может быть введен в действие.

2. Когда дизайн A будет закончен, сделайте одно из следующих действий:

   • Нажмите кнопку A/B-теста в правом верхнем углу редактора электронной почты, чтобы открыть панель A/B-тестов.
   • Если вы еще не определили никакой тест для этого сообщения электронной почты, выберите кнопку Добавить A/B-тест на панели A/B-теста.
   • Если тест уже определен, можно изменить версии A и B, переключаясь между версиями.

   

3. Отобразятся параметры нового теста. Выполните следующие действия.

   • Задайте одно из следующих значений Тип теста: - Заголовок (тема, отправитель электронного сообщения): позволяет выбрать другую тему или другое имя "От" для версии B вашего дизайна. Получатели будут видеть имя "От" как имя отправителя сообщения. Это не изменит фактический адрес "От", который останется неизменным для обеих версий.- Текст: позволяет выбрать один или несколько элементов дизайна в тексте сообщения электронной почты, а затем изменить настройки этих элементов, содержание или внешний вид в версии B дизайна.- Полное содержимое: позволяет выбрать другую тему, имя "От" и один или несколько элементов дизайна в тексте сообщения электронной почты, а затем изменить настройки этих элементов, содержание или внешний вид в версии B дизайна.
   • Введите Заголовок теста для идентификации теста. Этот заголовок отображается на панели A/B-тест и на плитке электронной почты цикла взаимодействия с клиентом, когда вы выбираете, какой тест запустить для этого цикла взаимодействия.

   

   Внимание

   Можно определить только один новый A/B-тест для одного сообщения в момент времени. Добавить новый тест можно только после выполнения предыдущего теста.

   Заметка

   Вы можете запустить каждый тест только один раз, на одной плитке электронной почты в одном цикле взаимодействия. Как только вы настроите цикл взаимодействия для запуска теста, вы не сможете выбрать этот тест для любой другой плитки электронной почты или цикла взаимодействия. Если вы хотите выполнить несколько тестов для одного дизайна, добавьте новый тест на панель A/B-тестов после выполнения предыдущего. Чтобы удалить A/B-тест из сообщения, нажмите кнопку корзины.

4. Новый тест выбранного типа теперь добавлен в раздел Создать на панель A/B-тест. Обратите внимание на следующее.

   • В любой момент времени можно запустить только один новый тест.
   • В разделе Активный панели A/B-тест отображаются как выполняемые в данный момент A/B-тесты, так и все прошлые A/B-тесты для сообщения.
   • Выберите тест на панели A/B-тест для работы с этим тестом. Когда тест выбран, он раскрывается, чтобы показать кнопки Версия А и Версия B для работы с этим тестом.
   • Можно изменить тип или название теста. Название теста отображается на плитки электронной почты цикла взаимодействия с клиентом, когда вы выбираете, какой тест запустить для этого цикла взаимодействия.
   • Для проверок заголовков параметры, контролируемые выбранной вами проверкой (темп и имя «От»), отображают значок A или значок B, указывая на то, что вы проверяете и на то, какая версия отображается (доступно для редактирования). Значок изменяется в соответствии с выбранной вами кнопкой версии (Версия A или Версия B).
   • Для тестов текста каждый тестируемый элемент выделен цветной рамкой (если выбрать его), которая по цвету соответствует кнопке версии (синяя для версии A и розовая для версии B). Смотрите следующий шаг для получения подробной информации о том, как настроить это.

   

5. Выберите тест на панели A/B-тест, затем выберите кнопку Версия B. Выполните одно из следующих действий в зависимости от типа теста:

   • Для тестов заголовка в полях Тема и Имя отправителя теперь должен отображаться значок B . Введите новую тему здесь или имя "От" здесь.
   • ля тестов текста добавьте элемент в тест, выбрав его на холсте, чтобы выделить его, а затем нажмите кнопку A/B на вкладке вверху выделенного фрейма. Это кнопка-переключатель, так что вы можете нажать ее снова, чтобы удалить элемент из теста, она имеет белый фон Значок тестируемого элемента текста для тестируемых элементов и темно-синий фон для элементов, которые одинаковы для каждой версии. Для проверенных элементов цвет рамки указывает на версию: светло-голубой для версии А и темно-розовый для версии B. Вы можете добавить в тест столько элементов, сколько захотите проверить, но обычно лучше всего тестировать только несколько элементов (или один элемент) одновременно.

   

6. Теперь измените дизайн элементов, выбранных для тестирования. Для тестов заголовка измените текст соответствующих полей; для тестов текста измените содержимое текстовых элементов или настройки на вкладке Свойства для других типов элементов дизайна. Вы можете переключаться между версиями, используя кнопки Версия А и Версия B и продолжать изменять каждую версию, когда она отображается.

   Заметка

   Даже после включения A/B-тестирования вы все равно можете изменять части сообщения, которые не являются частью тестов. При этом изменения коснутся всех версий (версии A и всех версий B), независимо от того, какой тест и кнопка версии в настоящее время выбраны. Но если вы редактируете настройки, включенные для тестирования, то вы редактируете только выбранную версию (кнопка Версия A или Версия B). Помните, что версия A одинакова для всех тестов, а версия B уникальна для каждого теста.

   Будьте осторожны при добавлении новых элементов дизайна к сообщению, для которого уже настроен тест текста. После этого всегда проверяйте, что ваши новые элементы полностью определены и имеют правильное содержимое и настройки для каждой версии каждого теста.

7. Когда вы закончите настройку дизайнов и нового A/B-теста, выберите Ввести в действие, чтобы сделать ваше сообщение доступным для использования с циклом взаимодействия с клиентом.

Подготовка к выполнению тест из цикла взаимодействия с клиентом

Когда сообщение электронной почты готово к тестированию, используйте цикл взаимодействия с клиентом для его отправки. Вы можете включить сообщения электронной почты A/B-теста в любой цикл взаимодействия, независимо от сложности, и включить циклы взаимодействия, которые вы используете в производственной кампании. Стратегия состоит в том, чтобы отправить каждый дизайн небольшой части полного целевого сегмента цикла взаимодействия, подождать, чтобы увидеть, как эти получатели реагируют на каждую версию сообщения, затем отправить наиболее эффективное сообщение остальной части сегмента. Вы можете выбрать условия выигрыша (больше переходов или больше открытых сообщений), а также длительность работы теста.

Внимание

Чтобы получить надежные результаты тестирования, вы всегда должны отправить каждую версию (A и B) как минимум 100 получателям, прежде чем позволить системе выбрать победителя. Типичная рекомендуемая настройка предполагает сегмент из 1000 членов (или больше), с отправкой версии А до 10% сегмента, версия B еще 10%, и оправкой выигравшего дизайна оставшимся 80%.

Можно запустить A/B-тест лишь с одним или несколькими получателями для каждой версии, но это часто может привести к неравномерному или неслучайному распределению версий и ненадежным результатам. Мы рекомендуем вам делать это только во время экспериментов с функцией.

Чтобы добавить A/B-тест в цикл взаимодействия:

1. Настройте свой цикл взаимодействия как обычно, и не забудьте включить одну или несколько плиток электронной почты, где вы можете разместить сообщения электронной почты для A/B-тестирования.

2. Выберите плитку электронной почты, которая включена в конвейер цикла взаимодействия, и откройте вкладку Свойства на боковой панели, чтобы начать настройку плитки.

3. В поле Текст маркетингового сообщения электронной почты на панели Свойства выберите сообщение электронной почты, настроенное для A/B-тестирования. Обратите внимание, что при сообщении, предназначенном для A/B-теста, на плитке в углу отображаются значки A и B. Пока они отображаются серым цветом, потому что вы еще не настроили тест для этой плитки (они станут синими после включения теста).

   

4. Прокрутите вниз в панели Свойства, пока не увидите переключатель A/B-тестирование, затем выберите его для включения теста. Это открывает настройки A/B-теста.

   

   Заметка

   Если вы выберете сообщение электронной почты, которое имеет дизайн A и B, но не включите A/B-тестирование для плитки, то версия А будет отправлена всем получателям.

5. Сделайте следующие настройки для настройки теста:

   • Выберите A/B-тест: выбранный дизайн сообщения электронной почты должен иметь по крайней мере один настроенный тест, которые еще не использовался, но их может быть и больше. Выберите имя теста, который требуется запустить для этой плитки. Вы можете выполнить не более одного теста за один раз.
   • A/B-распределение: выберите ползунок, чтобы выбрать, какое количество контактов (в процентах от общего числа контактов в целевом сегменте) вы хотели бы включить в тест. Половина от тестовой аудитории получит версию А, а другая половина — версию B. Все тестовые контакты и версии, которые они получают, выбираются случайным образом.
   • Победивший показатель: выберите, следует ли определять выигрышный дизайн на основе коэффициента переходов (как часто получатель нажал на ссылку в сообщении) или на основе коэффициента открытия (как часто получатели открывали сообщение). В каждом случае победителем является версия с наибольшим количеством переходов или открытых сообщений в пропорции от общего количества раз, когда была отправлена данная версия.
   • Длительность теста: используйте эти настройки, чтобы установить, как долго должен выполняться тест. Для достижения наилучших результатов мы рекомендуем выполнять каждый тест в течение не менее 24 часов или дольше, если это возможно, — особенно если вы ориентируетесь на всемирную аудитория (для компенсации часовых поясов). В конце этого времени система проанализирует результаты и отправит выигрышный дизайн оставшимся контактам в сегменте. Контактам, получившим "проигрышный" дизайн, не будет повторно отправлен выигрышный дизайн.
   • Если результаты неубедительны, отправьте: выберите, что делать, если тест не выявил явного победителя. В этом случае вы можете отправить версию A, версию B или случайным образом обе версии в пропорции 50/50 всем оставшимся контактам.

   Заметка

   Победитель выбирается с использованием нулевой гипотезы. Для больших наборов с не менее чем 1000 контактами доверительный уровень для выигрышного варианта должен составлять не менее 95%. В меньших наборах доверительный уровень может составлять всего 80%. Если варианты отличаются относительно небольшим количеством контактов, результаты теста, скорее всего, будут считаться неубедительными.

   Другими словами, победителем A/B-теста автоматически не является вариант с большим количеством контактов. Вместо этого победителем становится вариант, который показывает статистически значимый результат.

6. Закончите настройку вашего цикла взаимодействия, как обычно, и введите его в действие.

Мониторинг жизненного цикла A/B-тестов

Каждый тест, определенный для заданного сообщения электронной почты, может быть запущен только один раз. Как только тест начинает обрабатываться циклом взаимодействия с клиентом, вы не сможете использовать его снова с любым другим циклом взаимодействия с клиентом. В результате иногда вы можете попробовать настроить A/B-тест для плитки электронной почты в цикле взаимодействия с клиентом и обнаружить, что вы не можете выбрать тест, который хотите запустить. В этом случае можно просто добавить еще один тест.

Чтобы просмотреть состояние выполнения каждого A/B-теста, определенного в сообщении электронной почты, откройте сообщение и разверните панель A/B-тест. Каждый тест, доступный для сообщения, находится в одном из следующих заголовков. Каждый заголовок включает в себя кнопку раскрытия/сворачивания для отображения или скрытия тестов в каждой категории.

• Черновик: это тесты, которые еще не были запущены, так что вы можете изменить их параметры и выбрать их при настройке плитки электронной почты для цикла взаимодействия с клиентом.
• Запланировано: это тесты, которые уже настроены для выполнения циклом взаимодействия с клиентом, но этот цикл еще не начался. Их настройки заблокированы, и вы не можете запустить их в любом другом цикле взаимодействия с клиентом.
• Выполняется: это тесты, которые в настоящее время выполняются. Их настройки заблокированы, и вы не можете запустить их в любом другом цикле взаимодействия с клиентом.
• Завершено: это тесты, которые являются завершенными и не могут быть использованы снова. Чтобы посмотреть результаты, перейдите в цикл взаимодействия с клиентом, где вы запускали этот тест.

Проверка результатов тестирования

Вы можете проверить ход и результаты ваших A/B-тестов в любое время, изучив плитки электронной почты вашего цикла взаимодействия с клиентами. Для этого:

1. Откройте цикл взаимодействия с клиентами.

2. Выберите плитку электронной почты, где выполняется A/B-тест.

3. Прокрутите вниз к нижней части панели Данные для выбранной плитки электронной почты. Здесь вы увидите индикацию, которая показывает название текста, процент контактов, которым вы отправили каждую версию (включая выигрышную версию), сколько времени осталось в тесте и какой дизайн был объявлен победителем (при условии, что тест закончился).

   

4. Выберите здесь ссылку Просмотр сведений, чтобы получить еще больше информации о результатах тестирования. Это открывает диалоговое окно с показателями КПЭ для каждого дизайна из теста. Дополнительные сведения о различных показателях КПЭ сообщений электронной почты и их интерпретации см. в глоссарии Insights.

   

Вы также можете увидеть результаты A/B-теста, открыв само сообщение. Отсюда откройте панель A/B-тест, разверните категорию Завершено тестов и выберите кнопку Аналитика тестов для теста, который вы хотите увидеть.

Замена версии A версией B после завершения теста

Независимо от результатов A/B-теста, версия А останется стандартной версией сообщения. Будущий тест будет продолжать тестировать в отношении версии А, и все циклы взаимодействия, которые не запускают A/B-тест, отправят версию А всем. Поэтому, и особенно если версия B выигрывает тест, вы можете рассмотреть возможность сделать эту версию B новой версией A в будущем.

Внимание

При замене версии А версией B версия А постоянно удаляется и заменяется версией B из выбранного теста. Отменить это нельзя.

Чтобы заменить версию А версией B из выбранного теста:

1. Откройте сообщение там, где закончился A/B-тест.

2. Разверните панель A/B-тест, чтобы увидеть список тестов.

3. Разверните категорию Завершено тестов на панели A/B-тест.

4. Выберите тест, в котором версия B является той, которую вы хотите сделать новой версией A, и выберите кнопку Замена на версию B.

   

5. Будет предложено подтвердить действие. Если вы уверены, что хотите продолжить, то подтвердите, а затем сохраните свое сообщение.