# A/B тестирование писем
В REES46 можно делать A/B тесты писем в массовых рассылках.
Важно
В данный момент раздел со статистикой по A/B тестам находится в разработке. Ниже будут даны пояснения и примеры, как правильно читать статистику в текущем интерфейсе.
# Предварительная информация
Для понимания работы A/B тестирования писем в массовых рассылках, ниже будет приводиться пример на аудитории в 1000 пользователей. Такой подход позволит понять механику работы с данным инструментом.
# Создание A/B теста
Для создания A/B теста нужно на экране запуска рассылки нажать кнопку "Режим A/B теста".
После нажатия кнопки будет создан дубль первого письма, которое вы создали ранее.
Чтобы запустить A/B тест, нужно совершить действия в двух разделах (отмечены на скриншоте ниже):
- Задать размер группы А/B теста.
- Выбрать способ определения письма-победителя.
- Сделать правки во втором письме, аналогично тем правилам, что были описаны в предыдущих разделах.
Обратите внимание
Во втором письме не нужно указывать сегменты, домен для отправки и промокоды. Меняется дизайн письма, тема и превью.
# Размер группы А/В теста
У нас есть условная аудитория в 1000 пользователей и мы хотим по ней сделать рассылку с А/В тестом.
Рассылка происходит в 2 этапа:
- Непосредственно сам А/В тест по выделенной группе пользователей.
- Рассылка письма-победителя по оставшейся аудитории.
Допустим, для первого этапа мы хотим выделить аудиторию в 300 человек.
Перемещая ползунок, вы задаете размер группы для А/В теста в процентном соотношении от всей аудитории.
В нашем случае, чтобы из 1000 пользователей выделить 300 на тест, настройка должна выглядеть так:
После того, как вы выделили процент тестовой аудитории от общей, она, в свою очередь, разбивается 50% на 50% для проведения теста.
Это означает, что по тестовой аудитории будет отправлено два варианта письма.
На 150 пользователей уйдет вариант А, на других 150 пользователей уйдет вариант B.
Важно
В статистике, когда вы увидите показатели в столбцах А и В, данные будут подгружаться по вариантам письма.
# Письмо-победитель
После того, как завершился первый этап рассылки с А/В тестом, нужно выбрать письмо-победитель.
Способ выбора задается заранее на странице настройки рассылки:
- Вручную
- Автоматически по открытиям
- Автоматически по переходам
Вручную
После отправки писем на тестовую аудиторию, рассылка останавливается, это будет видно по надписи "Ожидает продолжения".
Вы заходите в статистику рассылки и выбираете тот вариант письма, который хотите отправить на оставшуюся аудиторию.
Ручной способ выбора победителя нужен для того, чтобы накапливать статистику по тестовой группе столько времени, сколько вам нужно.
Важно
В статистике, после продолжения рассылки с письмом-победителем, данные будут накапливаться в том столбце, который соответствует варианту выбранного письма.
Автоматически
При автоматическом выборе письма победителя можно выбрать два показателя из статистики:
- Открытия
- Переходы
Вы задаете паузу в часах на накопление статистики.
После того, как будет сделана рассылка на тестовую аудиторию, рассылка встает на заданную паузу.
Когда время истечет, выбирается письмо, у которого выше заданный показатель и отправляется по оставшейся аудитории.
Обратите внимание
Задавать большое количество часов для накопления статистики не рекомендуется для писем, в которых есть предложение, ограниченное по времени. Например, вы отправляете рассылку «Акция до конца дня».
# Статистика
После того, как было определено письмо-победитель, оно будет рассылаться по оставшейся аудитории.
Важно
На данный момент интерфейс REES46 не позволяет выводить отдельно статистику по обоим этапам рассылки с А/В тестом. Пока идет разработка, было принято решение все последующие данные подгружать в столбец с вариантом письма-победителя.