Какие события бота измерять от первого сообщения до заявки
Пример расчёта (условные цифры): если из 200 начатых диалогов 50 заканчиваются подтверждённой заявкой, доля составляет 25%. Сначала проверьте, что все события посчитаны по одному правилу. На БЕСПЛАТНОЙ КОНСУЛЬТАЦИИ можно согласовать события и проверить расчёт на вашем потоке.
Результат, который нужен по теме «события воронки бота»
Отчёт считает только старт диалога и заявку, скрывая уход на промежуточных шагах. Разделите ошибку сбора данных и реальное изменение поведения. Для этого понадобятся идентификатор, время и подтверждённый результат.
Начните с карты событий от входа до результата. Сообщение, диалог и заявка имеют разные идентификаторы и часто разный срок жизни. Для отчёта укажите, как связывать повторное обращение и что считать новым случаем.
Для воронки зафиксируйте начало диалога, показ шага, ответ, передачу и подтверждённую заявку. Событие должно быть связано с одним идентификатором, иначе нельзя восстановить путь человека.
Для воронки от первого сообщения до заявки фиксируйте показ каждого вопроса отдельно от ответа на него. Тогда можно посчитать переход между шагами и увидеть, где пользователь получил помощь без заявки. Повторный вход через день связывайте с прежней задачей только по заранее установленному правилу.
Сведения берите из источника «Журнал событий с идентификатором диалога». Сверьте события с карточкой результата и не переносите отсутствующее событие из другого канала по предположению.
Вопрос к вам: какая доля событий отчёта подтверждается рабочей записью?
Лайфхак: добавьте к аномалии ссылки на несколько исходных диалогов. Причина станет видна быстрее, чем в ещё одном сводном графике.
Какие данные и решения подготовить
Для каждого канала выпишите доступные события. Сравнивайте только те действия, которые измеряются одинаково, и помечайте отсутствующие данные.
Отдельно посмотрите случай «возврат пользователя через несколько дней». Покажите его влияние на формулу и размер выборки вместо тихого удаления записей.
Сравните отчёт с карточками результата и несколькими исходными диалогами. Особенно проверьте случаи, где бот назвал вопрос закрытым, а человек вернулся вскоре с той же проблемой.
Пересчитайте небольшой набор вручную. Каждое расхождение между выборкой и отчётом классифицируйте до изменения сценария.
Перед тестом назначьте владельца исходных сведений и владельца текста бота. Когда правило меняется, оба проверяют одну и ту же цепочку: что введено, что сохранилось, кто получил задачу и каким сообщением она завершилась. Дата обновления без ответственного не защищает от старого ответа.
Два способа обработать запрос
Вручную. Ручной просмотр помогает понять, почему человек остановился или повторил вопрос. Его плюс - контекст. Главный риск - сделать общий вывод по слишком малой выборке.
Автоматический отчёт. Автоматический подсчёт позволяет видеть динамику по каналам и сегментам. Его сильная сторона - повторяемость, риск - пропущенные или задвоенные события.
Используйте отчёт как указатель для редактора сценария. Не переносите вывод по нескольким разговорам на весь поток без подсчёта доли.
Как запустить сценарий по шагам
Шаг 1. Определить события
Разделите показ шага, ответ и подтверждённый итог. Название метрики должно соответствовать наблюдаемому действию.
Шаг 2. Связать их с диалогом
Сохраните идентификатор диалога, время и источник трафика. Отметьте, где данных нет.
Шаг 3. Проверить порядок и дубли
Прочитайте примеры из сегмента с аномалией. Проверьте, совпадает ли код события с реальным действием человека.
Шаг 4. Построить воронку
Сохраните формулу расчёта рядом с выводом. Повторите проверку после обновления событийной схемы.
Сравните автоматический расчёт с ручным на примерах «возврат пользователя через несколько дней». Расхождения оформите как задачи владельцу данных, а не как произвольную поправку к отчёту.
Таблица проверки результата для «события воронки бота»
Для этой задачи контролируйте показатель «доля дошедших до заявки по шагам». Зафиксируйте его определение, период и источник до запуска. Дополните его временем до результата и числом случаев, которые пришлось исправлять вручную. Иначе отчёт может объявить успехом отправку сообщения, за которой не было нужного действия.
Пример расчёта (условные цифры): если 50 из 200 диалогов достигли результата, это 25%. При десяти повторных записях сначала пересчитайте знаменатель. Это оценка для проверки процесса, а не обещание эффекта внедрения.
Если формула изменилась, пометьте разрыв ряда и пересчитайте контрольную выборку. Иначе сравнение месяцев станет ложным.
Вопрос к вам: сколько строк отчёта совпало с ручной проверкой исходного диалога?
Лайфхак: храните три проверочных случая рядом с описанием сценария. После каждого изменения прогоняйте их заново и добавляйте новый случай, если обнаружили повторяющуюся ошибку.
Что ещё связано
Сценарий опирается на качество исходных данных и понятную передачу исключений. В A3bot можно собрать маршрут вокруг вашей рабочей системы. Стоимость обсуждаем после разбора задачи.
Заметка эксперта
У задачи «события воронки бота» есть проверяемое завершение. Бот полезен, когда он приближает к этому завершению и не скрывает задержку или ошибку. Начните с небольшого потока, подтвердите итог в основной системе и только затем расширяйте сценарий.
Напишите, какой процесс хотите автоматизировать: A3bot