Как узнать, какой вопрос бота снижает конверсию
Пример расчёта (условные цифры): если из 200 начатых диалогов 50 заканчиваются подтверждённой заявкой, доля составляет 25%. Сначала проверьте, что все события посчитаны по одному правилу. На БЕСПЛАТНОЙ КОНСУЛЬТАЦИИ можно согласовать события и проверить расчёт на вашем потоке.
Результат, который нужен по теме «вопрос снижает конверсию»
Проблема отчёта начинается там, где после длинного вопроса люди уходят, но причина может быть в цене, показанной перед ним. Сопоставьте определение показателя с исходными разговорами, а не только с графиком.
Показатель полезен, когда можно восстановить каждую его строку. Сохраните время, источник, версию сценария и связь с рабочей записью. Тогда после изменения бота будет видно, вырос ли результат или изменился способ подсчёта.
Падение после вопроса может объясняться его формулировкой, предыдущим сообщением или составом трафика. Проверяйте вариант на сравнимых потоках и одновременно смотрите качество полученных заявок.
Если после вопроса падает продолжение, проверьте не только формулировку, но и то, что бот показал перед ней. Сравнивать два варианта нужно на схожем трафике. Победивший вопрос должен давать не просто больше нажатий, а заявки, которые менеджер может обработать.
Сведения берите из источника «Версии сценария и аналитика шагов». Сверьте события с карточкой результата и не переносите отсутствующее событие из другого канала по предположению.
Вопрос к вам: сколько повторных событий одного диалога учитывает текущий показатель?
Лайфхак: храните рядом с графиком определение числителя и знаменателя. После обновления бота это сохранит смысл сравнения.
Какие данные и решения подготовить
Для каждого канала выпишите доступные события. Сравнивайте только те действия, которые измеряются одинаково, и помечайте отсутствующие данные.
Условие «параллельно изменился источник трафика» может изменить трактовку метрики. Оставьте эту группу отдельным разрезом до проверки первичных данных.
Сравните отчёт с карточками результата и несколькими исходными диалогами. Особенно проверьте случаи, где бот назвал вопрос закрытым, а человек вернулся вскоре с той же проблемой.
Выберите строки отчёта с необычным переходом и прочитайте исходные диалоги. Поздняя загрузка, дубль и неверный статус требуют разных исправлений.
Перед тестом назначьте владельца исходных сведений и владельца текста бота. Когда правило меняется, оба проверяют одну и ту же цепочку: что введено, что сохранилось, кто получил задачу и каким сообщением она завершилась. Дата обновления без ответственного не защищает от старого ответа.
Два способа обработать запрос
Вручную. Аналитик способен распознать неверную классификацию в исходном диалоге. Плюс - объяснение причины; риск - субъективный отбор разговоров для проверки.
Автоматический отчёт. Отчёт быстро находит шаги с аномалией и сравнивает периоды. Плюс - охват всего потока; главный риск - неверное определение события.
Используйте отчёт как указатель для редактора сценария. Не переносите вывод по нескольким разговорам на весь поток без подсчёта доли.
Как запустить сценарий по шагам
Шаг 1. Найти место падения
Определите событие, единицу счёта и знаменатель. Проверьте правило на нескольких исходных диалогах.
Шаг 2. Изучить формулировку и контекст
Сопоставьте журнал бота с CRM. Разница в часовом поясе или задержка обмена не должны создавать ложный отказ.
Шаг 3. Проверить вариант на равных потоках
Прочитайте примеры из сегмента с аномалией. Проверьте, совпадает ли код события с реальным действием человека.
Шаг 4. Сравнить качество заявок
Сравните периоды по одному правилу и укажите размер выборки. Учтите изменение трафика.
Сравните автоматический расчёт с ручным на примерах «параллельно изменился источник трафика». Расхождения оформите как задачи владельцу данных, а не как произвольную поправку к отчёту.
Таблица проверки результата для «вопрос снижает конверсию»
Для этой задачи контролируйте показатель «изменение перехода к следующему шагу». Зафиксируйте его определение, период и источник до запуска. Дополните его временем до результата и числом случаев, которые пришлось исправлять вручную. Иначе отчёт может объявить успехом отправку сообщения, за которой не было нужного действия.
Пример расчёта (условные цифры): если из 100 обращений 20 помечены решёнными, но пять человек быстро вернулись с той же задачей, подтверждённый результат требует отдельной проверки. Это оценка для проверки процесса, а не обещание эффекта внедрения.
Не называйте рост показателя улучшением без проверки состава трафика, версии сценария и качества результата. Сохраните примеры, подтверждающие вывод.
Вопрос к вам: на сколько изменится показатель после исключения дублей за прошлый месяц?
Лайфхак: храните три проверочных случая рядом с описанием сценария. После каждого изменения прогоняйте их заново и добавляйте новый случай, если обнаружили повторяющуюся ошибку.
Что ещё связано
Сценарий опирается на качество исходных данных и понятную передачу исключений. В A3bot можно собрать маршрут вокруг вашей рабочей системы. Стоимость обсуждаем после разбора задачи.
Заметка эксперта
У задачи «вопрос снижает конверсию» есть проверяемое завершение. Бот полезен, когда он приближает к этому завершению и не скрывает задержку или ошибку. Начните с небольшого потока, подтвердите итог в основной системе и только затем расширяйте сценарий.
Напишите, какой процесс хотите автоматизировать: A3bot