Как считать отказы на каждом шаге диалога с ботом
Пример расчёта (условные цифры): если из 200 начатых диалогов 50 заканчиваются подтверждённой заявкой, доля составляет 25%. Сначала проверьте, что все события посчитаны по одному правилу. На БЕСПЛАТНОЙ КОНСУЛЬТАЦИИ можно согласовать события и проверить расчёт на вашем потоке.
Результат, который нужен по теме «отказы на шагах»
Бот считает незавершённым любой диалог без кнопки «готово», включая решённый вопрос. Сначала уточните, какие события попали в числитель и знаменатель. Потом проверьте, не изменились ли источник аудитории и версия сценария.
Сначала разделите задачи пользователей. В одном канале человек может искать ответ, в другом сразу оформлять заявку. Сравнение общего процента без сегментов покажет состав аудитории, а не качество бота.
Отказ на шаге считайте среди тех, кто действительно его увидел. Человек, получивший ответ и ушедший, не обязательно отказался; правило успешного завершения нужно определить отдельно.
В знаменатель отказа на шаге входят только люди, которые этот шаг увидели. Отдельно учитывайте законное завершение после ответа и технический обрыв. Иначе полезный короткий диалог ошибочно попадёт в список потерь.
Сведения берите из источника «Журнал шагов и определение завершения». Сверьте события с карточкой результата и не переносите отсутствующее событие из другого канала по предположению.
Вопрос к вам: сколько диалогов вошло в отчёт и сколько строк вы сверили с исходной перепиской?
Лайфхак: отметьте на графике даты изменений сценария и источников трафика. Это поможет не принять технический сдвиг за результат.
Какие данные и решения подготовить
Для каждого канала выпишите доступные события. Сравнивайте только те действия, которые измеряются одинаково, и помечайте отсутствующие данные.
Для «человек ушёл после получения ответа» сопоставьте события с несколькими разговорами вручную. По ним будет видно, где ошибка данных, а где ограничение сценария.
Сравните отчёт с карточками результата и несколькими исходными диалогами. Особенно проверьте случаи, где бот назвал вопрос закрытым, а человек вернулся вскоре с той же проблемой.
Сохраните примеры спорных записей и ответственного за схему событий. Тогда следующая версия отчёта будет проверена тем же способом.
Перед тестом назначьте владельца исходных сведений и владельца текста бота. Когда правило меняется, оба проверяют одну и ту же цепочку: что введено, что сохранилось, кто получил задачу и каким сообщением она завершилась. Дата обновления без ответственного не защищает от старого ответа.
Два способа обработать запрос
Вручную. Разбор выборки показывает качество результата за пределами кнопок. Его сильная сторона - нюансы задачи, слабая - отсутствие масштаба без полного подсчёта.
Автоматический отчёт. Дашборд показывает масштаб без ручного чтения каждого чата. Плюс - скорость контроля; риск - ложный успех, если автоответ приравняли к решению.
Используйте отчёт как указатель для редактора сценария. Не переносите вывод по нескольким разговорам на весь поток без подсчёта доли.
Как запустить сценарий по шагам
Шаг 1. Зафиксировать начало шага
Укажите точный момент возникновения события и возможность повтора. Два аналитика должны получить одинаковый результат.
Шаг 2. Различить выход и успешный ответ
Свяжите события с одной сессией и проверьте переходы между каналами. Потерянную связь не достраивайте предположением.
Шаг 3. Посчитать знаменатель
Прочитайте примеры из сегмента с аномалией. Проверьте, совпадает ли код события с реальным действием человека.
Шаг 4. Проверить выборку диалогов
Проверьте результат на контрольной группе и опишите пределы вывода, прежде чем менять сценарий.
Сравните автоматический расчёт с ручным на примерах «человек ушёл после получения ответа». Расхождения оформите как задачи владельцу данных, а не как произвольную поправку к отчёту.
Таблица проверки результата для «отказы на шагах»
Для этой задачи контролируйте показатель «отказ на каждом шаге по единому правилу». Зафиксируйте его определение, период и источник до запуска. Дополните его временем до результата и числом случаев, которые пришлось исправлять вручную. Иначе отчёт может объявить успехом отправку сообщения, за которой не было нужного действия.
Пример расчёта (условные цифры): если в двух каналах по 50 заявок, но в одном было 500 переходов, а в другом 100, одинаковое число заявок не означает одинаковую конверсию. Это оценка для проверки процесса, а не обещание эффекта внедрения.
При малом количестве наблюдений показывайте и процент, и число исходных случаев. Это ограничит слишком уверенный вывод.
Вопрос к вам: сколько обращений вернулось с той же задачей после формально успешного ответа?
Лайфхак: храните три проверочных случая рядом с описанием сценария. После каждого изменения прогоняйте их заново и добавляйте новый случай, если обнаружили повторяющуюся ошибку.
Что ещё связано
Сценарий опирается на качество исходных данных и понятную передачу исключений. В A3bot можно собрать маршрут вокруг вашей рабочей системы. Стоимость обсуждаем после разбора задачи.
Заметка эксперта
У задачи «отказы на шагах» есть проверяемое завершение. Бот полезен, когда он приближает к этому завершению и не скрывает задержку или ошибку. Начните с небольшого потока, подтвердите итог в основной системе и только затем расширяйте сценарий.
Напишите, какой процесс хотите автоматизировать: A3bot