Как сравнить эффективность двух рекламных креативов Ozon при разном объёме показов

Сравнить два рекламных креатива на Ozon непросто, если один получил показов больше, чем другой. Условный пример: первый креатив показан 20 000 раз и дал 300 кликов, то есть CTR 1,5%. Второй показан 5 000 раз и дал 110 кликов, CTR 2,2%. Казалось бы, второй лучше. Но при таком малом объёме одно случайное совпадение может изменить результат. Поэтому сравнивать креативы нужно, учитывая размер выборки, и не принимать решение по цифрам, которые могут быть случайными.

Если хотите проверить, какой креатив действительно работает, начните с БЕСПЛАТНОГО АУДИТА: мы настроим честное сравнение и покажем, какой вариант приносит заказы.

Вопрос к вам: знаете ли вы, сколько показов нужно вашим креативам, чтобы разница в кликах перестала быть случайной?

При малом объёме показов доля кликов колеблется сильно. Несколько лишних кликов могут поднять CTR в два раза. Поэтому креатив с высоким CTR на малой выборке может оказаться хуже на большой. Чтобы этого не произошло, нужно набрать достаточно показов, прежде чем делать вывод.

Также важно сравнивать не только клики, но и конверсию в заказ. Креатив может привлекать кликами, но приводить покупателей, которые не покупают. Тогда он выглядит хорошо в статистике показов, но плохо в прибыли.

Сравнение делается в три шага: привести выборки к одной базе, проверить достаточность данных, оценить заказы.

Сравнивайте креативы при одинаковом объёме показов или используйте долю кликов от показов. Если один креатив показан в четыре раза чаще, его результат нужно сравнивать с учётом этого. Самый простой способ - набрать равный объём показов для обоих креативов.

Пример расчёта (условные цифры): после выравнивания по 10 000 показов первый креатив дал бы 150 кликов, второй 220. Разница уже видна, но выборка всё ещё небольшая.

Чтобы разница в CTR была заметной, нужно несколько сотен кликов на каждый креатив. При меньших объёмах результат может быть случайным. Если клики малы, продолжайте тест, пока не наберёте достаточное количество.

Лайфхак: не останавливайте тест после первых дней, когда один креатив случайно вырвался вперёд. Дайте тесту две-три недели.

Сравните количество заказов и прибыль от каждого креатива. Креатив с высоким CTR, но низкой конверсией в заказ может тратить деньги впустую. Выбирайте тот, который приносит прибыль на рубль расхода.

Если креативы отличаются не только картинкой, но и текстом, сравнивайте их по одному параметру за раз. Например, сначала картинку при одинаковом тексте, затем текст при одинаковой картинке. Так вы понимаете, что именно повлияло на результат. Если поменять сразу всё, победивший креатив будет известен, но причина успеха останется неизвестной, и её нельзя повторить в следующих кампаниях.

Также полезно записывать результаты каждого теста в таблицу с датами, объёмом показов и итоговой стоимостью заказа. Через несколько тестов станет видно, какие элементы креатива стабильно работают в вашей категории. Эта информация ценнее любого отдельного результата, потому что она переносится на новые товары.

Наконец, помните, что победивший креатив со временем может выдыхаться. Покупатели привыкают к картинке, и CTR снижается. Поэтому тест стоит повторять через несколько месяцев и держать в запасе следующий вариант, который готов к запуску, когда текущий перестанет работать.

Главная ошибка - выбирать креатив по CTR на малой выборке. Вторая ошибка - сравнивать креативы в разные периоды, когда спрос различается. Третья ошибка - останавливать тест слишком рано.

Лайфхак: проводите тест параллельно, в одни и те же дни, чтобы внешние факторы влияли на оба креатива одинаково.

Сравнивать креативы по CTR за любой период
Плюсы: быстрый результат
Главный риск: случайные колебания принимаются за эффект

Сравнивать при равном объёме и за достаточный период
Плюсы: решение опирается на надёжные данные
Главный риск: тест занимает больше времени

Креативы связаны с кликабельностью, конверсией, ставками и бюджетом. Если сравнивать креативы честно, реклама работает на результат. В A3 marketplace настраиваем тесты креативов. Стоимость работы обсуждаем после разбора.

Креатив - это обещание в рекламе. Бренд, который сравнивает креативы на достаточной выборке и смотрит на заказы, выбирает то, что приносит прибыль, а не то, что красиво выглядит в отчёте.

Напишите, к какой ситуации ближе ваш магазин: A3 marketplace