Сколько дней тестировать новую обложку на Wildberries при небольшом трафике

Тест новой обложки кажется простым: поставили фото и смотрим результат. Но при небольшом трафике короткий тест даёт случайные цифры. Условный пример: за три дня карточка получила 200 показов, CTR вырос с 2,5% до 4%. Это выглядит как успех, но пять кликов разницы могут быть просто везением. Поэтому длительность теста нужно считать от объёма показов, а не от календаря. Тогда результат можно использовать для решения.
Если хотите провести тест обложки с понятным результатом, начните с БЕСПЛАТНОГО АУДИТА: мы подберём срок и объём показов под ваш трафик.
Вопрос к вам: знаете ли вы, сколько показов в день получает карточка, которую вы хотите тестировать?

Почему день не равен данным

Календарный срок теста не отражает объём данных. Карточка с 50 показами в день за неделю даст 350 показов. Карточка с 500 показами в день за неделю даст 3 500. Разница в надёжности огромная. Поэтому тест нужно планировать по числу кликов и показов, которое нужно, чтобы отличить эффект от шума.
Чем меньше кликов, тем сильнее колеблется CTR. Например, при 10 кликах одно случайное нажатие меняет результат на 10%. При 300 кликах такое же нажатие почти незаметно. Поэтому малому трафику нужен более длинный тест.

Пошаговая методика

Методика простая: оцениваем текущий CTR, задаём минимальный эффект, который хотим видеть, считаем нужное число показов и делим его на дневной трафик.

Шаг 1. Оцените текущий CTR и дневные показы

Возьмите данные за две недели: средний CTR и среднее количество показов в день. Например, CTR 3% и 200 показов в день. Если данных мало, возьмите более длинный период до теста.

Шаг 2. Задайте минимальный интерес эффекта

Решите, какой прирост CTR для вас важен. Например, рост с 3% до 4% - это значимое изменение. Меньший прирост может не окупить замену. Чем меньше эффект, который вы хотите поймать, тем больше показов нужно.
Пример расчёта (условные цифры): текущий CTR 3%, нужный рост до 4%. При 200 показах в день нужно порядка нескольких тысяч показов на каждую обложку, чтобы разница не была случайной. Это примерно три-четыре недели теста.
Лайфхак: если трафика мало, тестируйте более крупные изменения. Например, полностью другой ракурс товара, а не небольшую правку цвета фона. Крупный эффект виден раньше.

Шаг 3. Проведите тест без вмешательств

Во время теста не меняйте цену, название и остатки, иначе результат будет смешанным. Сравнивайте периоды одинаковой длины и отмечайте все события, которые могли повлиять на выдачу.
Если тест завершён, решите, оставлять ли новую обложку, по итоговому CTR и конверсии. Если разница небольшая, оставьте прежнюю версию: она уже работает.
После теста полезно сохранить итоговые цифры и решение в таблице. Через несколько месяцев такие записи помогают понять, какие ракурсы и цвета фото работают в вашей категории. Так следующий тест начинается не с нуля, а с опыта прошлых тестов, и срок сокращается, потому что вы уже знаете, какие изменения стоит проверять.
Если трафик очень мал, даже месяц может не дать достаточного объёма данных. В этом случае разумно тестировать не обложку целиком, а один элемент: цвет фона или положение товара. Крупные контрастные изменения дают более заметный эффект и требуют меньше показов. Но учитывайте, что такие изменения надо проверять ещё и на выкуп, чтобы не получить рост кликов за счёт завышенного ожидания покупателя.
Ещё один вариант - расширить тест на несколько похожих карточек одной категории. Если изменение работает на нескольких артикулах одновременно, вывод становится надёжнее, даже при небольшом трафике на каждом. Главное, чтобы карточки были похожими по цене и позиции, иначе сравнение окажется некорректным.

Частые ошибки

Главная ошибка - останавливать тест через три дня при первом приятном результате. Вторая ошибка - тестировать две обложки одновременно в разных условиях, например одну в выходные, другую в будни.
Лайфхак: зафиксируйте в журнале дату теста, показы и клики каждый день. Тогда видно, был ли рост стабильным.

Два подхода: сравнение

Короткий тест на несколько дней
Плюсы: быстрый результат и возможность двигаться дальше
Главный риск: случайные цифры принимаются за эффект
Тест по объёму показов
Плюсы: решение опирается на достаточный объём данных
Главный риск: нужно ждать дольше и вести журнал

Сводная таблица: как планировать тест

ПоказательКак считатьЧто даёт
Дневные показыСреднее за две неделиСкорость набора данных
Текущий CTRКлики делить на показыТочка отсчёта
Минимальный эффектКакой рост важенРазмер выборки
Нужный объём показовПо эффекту и CTRДлительность теста
Срок тестаОбъём делить на дневные показыКалендарный план

Что ещё связано

Тест обложки связан с фото, выдачей, ценой и конверсией. Если планировать тест по объёму показов, решения становятся надёжными даже при небольшом трафике. В A3 marketplace помогаем спланировать тесты карточек. Стоимость работы обсуждаем после разбора.

Заметка эксперта

Тест без достаточного объёма данных - это гадание с цифрами. Бренд, который считает срок теста от показов и не меняет карточку во время эксперимента, принимает решения о фото на основании фактов, а не по первому впечатлению.
Напишите, к какой ситуации ближе ваш магазин: A3 marketplace
Обсудить продвижение