Как измерить долю обращений, решённых ботом без менеджера
Пример расчёта (условные цифры): если из 200 начатых диалогов 50 заканчиваются подтверждённой заявкой, доля составляет 25%. Сначала проверьте, что все события посчитаны по одному правилу. На БЕСПЛАТНОЙ КОНСУЛЬТАЦИИ можно согласовать события и проверить расчёт на вашем потоке.
Результат, который нужен по теме «решение без менеджера»
Проблема отчёта начинается там, где отчёт записывает FAQ-ответ в решённые обращения, хотя клиент вернулся с той же проблемой. Сопоставьте определение показателя с исходными разговорами, а не только с графиком.
Начните с карты событий от входа до результата. Сообщение, диалог и заявка имеют разные идентификаторы и часто разный срок жизни. Для отчёта укажите, как связывать повторное обращение и что считать новым случаем.
Решение без менеджера фиксируйте только при проверяемом итоге и отсутствии быстрого повтора той же проблемы. Автоответ с ссылкой на FAQ сам по себе ещё не означает, что клиенту помогли.
Самостоятельным решением считайте подтверждённое действие или ответ, после которого человек не возвращается с той же проблемой в выбранное окно. FAQ-ссылка и закрытая карточка сами по себе не доказывают, что помощь оказана.
Сведения берите из источника «Журнал диалогов и повторных обращений». Сверьте события с карточкой результата и не переносите отсутствующее событие из другого канала по предположению.
Вопрос к вам: сколько повторных событий одного диалога учитывает текущий показатель?
Лайфхак: добавьте к аномалии ссылки на несколько исходных диалогов. Причина станет видна быстрее, чем в ещё одном сводном графике.
Какие данные и решения подготовить
Для каждого канала выпишите доступные события. Сравнивайте только те действия, которые измеряются одинаково, и помечайте отсутствующие данные.
Условие «клиент переключился на другой канал» может изменить трактовку метрики. Оставьте эту группу отдельным разрезом до проверки первичных данных.
Сравните отчёт с карточками результата и несколькими исходными диалогами. Особенно проверьте случаи, где бот назвал вопрос закрытым, а человек вернулся вскоре с той же проблемой.
Выберите строки отчёта с необычным переходом и прочитайте исходные диалоги. Поздняя загрузка, дубль и неверный статус требуют разных исправлений.
Перед тестом назначьте владельца исходных сведений и владельца текста бота. Когда правило меняется, оба проверяют одну и ту же цепочку: что введено, что сохранилось, кто получил задачу и каким сообщением она завершилась. Дата обновления без ответственного не защищает от старого ответа.
Два способа обработать запрос
Вручную. Аналитик способен распознать неверную классификацию в исходном диалоге. Плюс - объяснение причины; риск - субъективный отбор разговоров для проверки.
Автоматический отчёт. Отчёт быстро находит шаги с аномалией и сравнивает периоды. Плюс - охват всего потока; главный риск - неверное определение события.
Используйте отчёт как указатель для редактора сценария. Не переносите вывод по нескольким разговорам на весь поток без подсчёта доли.
Как запустить сценарий по шагам
Шаг 1. Определить критерий решения
Укажите точный момент возникновения события и возможность повтора. Два аналитика должны получить одинаковый результат.
Шаг 2. Связать повторные контакты
Сохраните идентификатор диалога, время и источник трафика. Отметьте, где данных нет.
Шаг 3. Исключить простые подтверждения
Прочитайте примеры из сегмента с аномалией. Проверьте, совпадает ли код события с реальным действием человека.
Шаг 4. Проверить выборку вручную
Сравните периоды по одному правилу и укажите размер выборки. Учтите изменение трафика.
Сравните автоматический расчёт с ручным на примерах «клиент переключился на другой канал». Расхождения оформите как задачи владельцу данных, а не как произвольную поправку к отчёту.
Таблица проверки результата для «решение без менеджера»
Для этой задачи контролируйте показатель «доля подтверждённых решений без человека». Зафиксируйте его определение, период и источник до запуска. Дополните его временем до результата и числом случаев, которые пришлось исправлять вручную. Иначе отчёт может объявить успехом отправку сообщения, за которой не было нужного действия.
Пример расчёта (условные цифры): если из 100 обращений 20 помечены решёнными, но пять человек быстро вернулись с той же задачей, подтверждённый результат требует отдельной проверки. Это оценка для проверки процесса, а не обещание эффекта внедрения.
Не называйте рост показателя улучшением без проверки состава трафика, версии сценария и качества результата. Сохраните примеры, подтверждающие вывод.
Вопрос к вам: на сколько изменится показатель после исключения дублей за прошлый месяц?
Лайфхак: храните три проверочных случая рядом с описанием сценария. После каждого изменения прогоняйте их заново и добавляйте новый случай, если обнаружили повторяющуюся ошибку.
Что ещё связано
Сценарий опирается на качество исходных данных и понятную передачу исключений. В A3bot можно собрать маршрут вокруг вашей рабочей системы. Стоимость обсуждаем после разбора задачи.
Заметка эксперта
У задачи «решение без менеджера» есть проверяемое завершение. Бот полезен, когда он приближает к этому завершению и не скрывает задержку или ошибку. Начните с небольшого потока, подтвердите итог в основной системе и только затем расширяйте сценарий.
Напишите, какой процесс хотите автоматизировать: A3bot