Спор о том, какой слайд лучше, решается не вкусом, а цифрами. Разбираем, как поставить корректный тест на маркетплейсе и не обмануть себя.
Главный кадр влияет на CTR — долю кликов из выдачи. Слайды внутри карточки влияют на конверсию в заказ и, косвенно, на возвраты.
Это разные метрики, и путать их нельзя: поменяв второй слайд, ждать роста CTR бессмысленно.
Полезно фиксировать и базовые цифры до теста: показы, клики, заказы за предыдущие две недели. Без точки отсчёта сравнивать не с чем.
Есть и третья измеримая величина — процент возвратов. Слайд с размерной сеткой или масштабом влияет именно на неё, и оценивать его по CTR бессмысленно.
Поэтому перед тестом стоит честно сформулировать, что именно вы хотите сдвинуть: клики, корзину, заказы или возвраты. От ответа зависит и метрика, и срок наблюдения.
Полезно определить и минимальный эффект, который вам интересен: если разница меньше нескольких процентов, тест на типичном объёме трафика её просто не покажет.
Полезно помнить и про отложенный эффект: часть покупателей возвращается к карточке через несколько дней, и заказ засчитывается позже клика.
Меняем что-то одно за раз. Если одновременно поменялись цена, реклама и графика, объяснить результат невозможно — а решение по нему принимать придётся.
Это самая частая причина, по которой «тесты» на маркетплейсе ничего не доказывают.
Полезно менять слайд одновременно у группы похожих артикулов, а не у одного: так шума в цифрах меньше.
Правило одного изменения касается и самого слайда: если вы поменяли одновременно текст, цвет и композицию, вы узнаете, что новый вариант лучше, но не поймёте почему — и не сможете повторить успех.
Полезно вести журнал: дата, что поменяли, на каких артикулах. Без него через квартал никто не восстановит последовательность.
И не тестируйте в периоды акций площадки: любой всплеск трафика перекрывает эффект от графики.
И меняйте слайд целиком, а не наполовину: частичная правка даёт частичный результат, который сложно интерпретировать.
Ориентироваться нужно на количество показов и заказов, а не на дни. Пока цифры маленькие, разница между вариантами — шум.
Практический подход: сравнивать сопоставимые периоды — например, две полные недели, чтобы выходные попали в обе.
Стоит учитывать и инерцию площадки: изменения в карточке подхватываются не мгновенно, первые сутки обычно нерепрезентативны.
Ориентир по объёму: пока по карточке не набралось хотя бы нескольких сотен кликов и десятков заказов на каждый вариант, разница в процентах — шум.
Для карточек с малым трафиком тест лучше ставить не по одной, а по группе похожих артикулов: суммарные цифры набираются быстрее.
Практический минимум по времени — две полные недели, чтобы в выборку попали и будни, и выходные с их разным поведением покупателей.
И не сравнивайте неполные недели: у выходных и будней разное поведение, и сдвиг границы периода сам по себе меняет цифры.
Слишком долгий тест тоже вреден: за месяц меняется и сезон, и конкурентное окружение, и вы сравниваете уже разные условия.
На маркетплейсе честного параллельного теста не бывает: карточка одна. Поэтому важно учитывать внешние факторы.
Стоит учитывать и внешние всплески: попадание в подборку площадки способно перекрыть любой эффект от графики.
Искажает результат и собственная реклама: если ставки менялись в середине теста, весь период сравним только сам с собой.
И изменение остатков: карточка, у которой пропала половина размеров, теряет конверсию независимо от графики.
И собственные действия: смена цены, запуск рекламы, добавление отзывов — всё это стоит остановить на время теста.
Полезно проверить и стабильность позиции в выдаче: переезд карточки на страницу ниже обнуляет любой тест.
Брать несколько похожих артикулов: на одних менять слайд, другие оставить как есть. Тогда сезонность и акции влияют на обе группы одинаково.
Фиксировать даты и метрики письменно до начала — иначе результат подгоняется под ожидания задним числом.
Полезно проверять и мобильную выдачу отдельно: доля десктопа в маркетплейсах невелика, а поведение там другое.
Полезно выбирать контрольную группу осознанно: артикулы должны быть сопоставимы по цене, трафику и сезонности, иначе контроль ничего не контролирует.
И не останавливать тест раньше срока, даже когда цифры выглядят убедительно с первых дней. Ранняя остановка — самая частая причина ложных выводов.
Полезно фиксировать и внешние события в том же журнале: акция площадки, всплеск сезона, действия конкурентов.
И держите контрольную группу неизменной до конца теста, даже если очень хочется её тоже улучшить.
И проверьте, что у контрольных артикулов не менялись остатки: выпавший из наличия размер портит контроль так же, как и сам тест.
Победивший вариант раскатывается на линейку, проигравший сохраняется: через полгода при другой цене и другой выдаче он может отработать иначе.
И главное — тестировать стоит крупные решения: первый кадр, порядок слайдов, наличие размерной сетки. Спорить о цвете плашки на деньгах невыгодно.
Хорошая привычка — вести журнал изменений карточки: что и когда меняли. Через полгода это единственный способ понять причины скачков.
Результат имеет смысл записывать словами: что меняли, что получили, какой вывод. Через квартал память подводит.
Победивший вариант стоит раскатывать не разом, а волнами, проверяя метрики после каждой: то, что сработало на одной группе, не всегда переносится на всю линейку.
И храните оба варианта макета: при смене сезона или цены проигравший иногда становится выигрышным.
И раскатывайте выводы, а не макеты: ценность теста в понимании, что именно работает в вашей категории.
Полезно оформлять выводы одной строкой в общем документе: через год это станет вашим внутренним руководством по категории.
Мы используем файлы cookie, Яндекс Метрику и чат поддержки Jivo, чтобы сайт работал корректно и мы понимали, какие страницы полезны. Нажмите «Только необходимые» — и аналитика с чатом на вашем устройстве отключатся. Подробнее — в политике использования cookie и политике обработки персональных данных.