Как провести A/B-тест блоков товарных рекомендаций

Справка: для чего нужны A/B-тесты товарных рекомендаций

Ни у одного сервиса товарных рекомендаций нет «идеального» решения — волшебного алгоритма, который бы одинаково хорошо работал в любом магазине, в любой отрасли и на любую аудиторию. 

Сравнительное тестирование двух и более блоков — обычная практика в ecommerce, с ее помощью магазины делают выводы о том, какой алгоритм на конкретной странице приносит больше заказов и денег.

Как подготовиться к A/B-тесту

Всё начинается с цели и гипотезы. Выберите страницу сайта, на которой вы собираетесь проводить сравнительный тест. Например, вы решили, что хотите увеличить выручку на один заказ. Выдвигайте гипотезу, например: 

— В карточке товара лучше отработают рекомендации сопутствующих товаров, чем рекомендации альтернативных — и это поможет увеличить чек.

Когда гипотеза сформулирована, переходите в пункт «Блоки рекомендаций» раздела «Товарные рекомендации» в боковом меню:

Создайте новый блок рекомендаций, назовите его «Сопутствующие товары». Вы окажетесь в блочном редакторе логики: здесь можно понятными инструментами спроектировать собственный блок рекомендаций и затем опубликовать его на сайте.

Создайте блок рекомендаций: 6 шагов

Шаг 1. В новом блоке перейдите на вкладку «Правила». Вы увидите логическую схему блока рекомендаций: по умолчанию выбран алгоритм «Популярные». 

Шаг 2. Отредактируйте блок алгоритма (фиолетовый цвет): наведите курсор, нажмите на иконку шестеренки. В выпадающем меню алгоритма выберите «С этим товаром покупают».

Лимит — это количество товаров в блоке рекомендаций, которые будут заполняться по выбранному алгоритму. Если у вас всего 8 товаров в блоке и вы выберите лимит в 4 товара для алгоритма «С этим товаром покупают», то оставшиеся 4 товара будут пустыми. 

Лимиты вы можете использовать, если хотите провести эксперимент: например, первые 4 товара выводить алгоритмом «С этим товаром покупают», а оставшиеся — алгоритмом «Новинки». Для этого под текущим алгоритмом нужно добавить еще один (иконка с плюсом) и выбрать второй алгоритм. 

Все 8 товаров будут находиться внутри одного блока:

Пока не будем рассматривать такой вариант, вернемся к тому, что был выше: с одним алгоритмом «С этим товаром покупают».

Шаг 3. Задайте название вашему блоку рекомендаций. Выберите блок «Действие» (зеленый цвет) и впишите свое название. 

Это название будет выводиться над блоком рекомендаций на сайте, например, вот так:

Вам совсем не обязательно называть блок также, как алгоритм. Тем более, что алгоритмов внутри одного блока может быть несколько.

Шаг 4. Когда одна цепочка готова, нажмите «Начать A/B» вверху. Рядом с вашей цепочкой появится еще одна — точно такая же. 

Шаг 5. Измените одну из цепочек. Если вы тестируете гипотезу, что «Сопутствующие товары» работают лучше альтернативных, то просто замените алгоритм рекомендаций:

Название блока тоже лучше изменить на более «говорящее» — это сделано на скриншоте.

Шаг 6. Опубликуйте блок рекомендаций на нужной странице. В примере это страница товара. Вы можете сделать это самостоятельно, пользуясь нашей инструкцией (ссылка в конце) либо обратиться с клиентскую поддержку REES46 — и вам помогут.

A/B-тест запущен, теперь половина посетителей будет видеть в карточке товаров блок «Сопутствующие товары», а другая — «Посмотрите альтернативы»:

Как измерить результаты и какие выводы сделать

В любой момент вы можете остановить тест, нажав на кнопку на странице редактирования. Перед тем, как подтвердить остановку, посмотрите статистику по каждому варианту и выберите лучший. После того, как вы нажмете на «Остановить A/B», выбранный блок рекомендаций останется единственным.

Рекомендуем принимать решение не раньше чем через месяц после начала теста. Если разница несущественная, то есть смысл в дальнейших тестах. 

Что делать после теста

Важно не останавливаться и проводить уточняющие тесты. Возможности конструктора логики REES46 позволяют делать более тонкие настройки — и дальше улучшать показатели блока. Вот несколько идей, проверяйте их последовательно:

• В карточке товара блок сопутствующих товаров будет приносить больше заказов, если там выводить только товары со скидками.
• В карточке товаров блок сопутствующих товаров со скидками будет приносить еще больше заказов, если мужчинам показывать только товары для мужчин, а женщинам — товары для женщин.    

В схему в таком случае нужно будет добавить развилку с условием, проверяющим пол пользователя. Схема будет выглядеть так:

С инструментарием REES46 вы можете быстро конструировать сценарии под любые гипотезы, запускать и останавливать A/B-тесты за секунды. 

Полезное по теме

• Больше о возможностях товарных рекомендаций вы можете узнать в нашей документации.
• Кейс: как Nanuka.ru использует A/B-тестирование блоков рекомендаций и получает 16,8% выручки благодаря инструменту.