Как сравнить скорость ответа менеджера и чат-бота

Пример расчёта (условные цифры): бот отвечает «Здравствуйте» за секунду, а менеджер даёт решение через десять минут. Отчёт может показать ускорение в 600 раз, хотя время до полезного ответа не изменилось. На БЕСПЛАТНОЙ КОНСУЛЬТАЦИИ можно согласовать события, которые действительно стоит сравнивать.

Разделите три разных времени

Первое - подтверждение, что сообщение дошло. Второе - содержательный ответ по вопросу или ясный план с владельцем и сроком. Третье - завершение задачи: запись создана, расчёт отправлен, проблема решена. У бота и менеджера могут быть разные преимущества на каждом этапе. Мгновенное приветствие не должно подменять содержательную помощь; медленный, но точный ответ тоже может быть слишком поздним для клиента.
Считайте время от фактического сообщения клиента, а не от открытия виджета или клика по кнопке. При обращении вне рабочего времени можно показывать и календарное ожидание клиента, и время в пределах рабочей смены команды, но не смешивать эти значения. Клиент живёт в календарном времени; руководителю для планирования смен полезно рабочее время.
Вопрос к вам: какое событие ваша аналитика сейчас считает «первым ответом» и помогает ли оно клиенту решить вопрос?
Лайфхак: прочитайте несколько самых быстрых ответов. Если они состоят только из приветствия, показатель скорости описывает работу триггера, а не качество сервиса.

Сравнивайте одинаковые типы вопросов

Бот может отвечать на график за секунды из базы, а менеджер тратит минуты из-за очереди. Для индивидуальной цены бот может лишь собрать данные, после чего расчёт делает человек. Если включить обе темы в одно среднее, вывод будет бессмысленным. Разделите справку, статус, запись, расчёт и жалобу, затем сравните путь клиента по каждой категории.
Учитывайте передачу. Время от вопроса до автоответа и время от передачи до включения менеджера - части одного опыта. Если бот быстро задаёт три вопроса, а затем оставляет клиента на час без сотрудника, итоговый путь стал медленнее. Сохраняйте исходное время сообщения и не сбрасывайте таймер при переходе в CRM.
Среднее может скрывать хвост задержек. Несколько мгновенных ответов улучшают среднюю цифру, но один пропущенный диалог остаётся пропущенным. Показывайте долю обращений без содержательного ответа, медиану и распределение задержек. Отдельно проверяйте старейшие открытые случаи и ночные заявки.
Пример расчёта (условные цифры): 80 типовых вопросов бот решает за 20 секунд, 20 сложных передаёт человеку, который отвечает через 30 минут. Среднее по всем может выглядеть хорошо, но для сложной группы важна отдельная задержка и качество передачи.

Пошаговое сравнение

Шаг 1. Утвердите определения

Запишите события подтверждения, полезного ответа и решения. Приведите по одному реальному примеру для каждого. Не меняйте определения между периодами сравнения.

Шаг 2. Разделите темы и время суток

Сравнивайте похожие запросы и отдельно показывайте рабочие и нерабочие часы. Учитывайте нагрузку смены и состав входящего потока.

Шаг 3. Сохраните непрерывный таймер

От первого сообщения до результата фиксируйте все передачи между ботом, CRM и менеджером. Не начинайте измерение заново при смене ответственного.

Шаг 4. Проверьте содержание ответа

Выборочно читайте диалоги. Ответ должен быть точным и помогать сделать шаг; шаблон «мы свяжемся» сам по себе не решает вопрос.

Шаг 5. Сравните задержки и итог

Покажите типичные и самые долгие ожидания, долю без ответа и время до решения. Если бот ускорил начало, но замедлил сложный случай, исправьте маршрут передачи.

Средняя скорость или полный путь клиента

Среднее время первого ответа. Плюсы: просто измерять и отслеживать операционную дисциплину. Главный риск: автоприветствие обнуляет метрику без полезного результата.
Время до содержательного ответа и решения. Плюсы: ближе к опыту клиента. Главный риск: требует согласовать критерий полезности и связать события в нескольких системах. Такая работа оправданна для выбора процесса.
СобытиеЧто показываетЧего не доказывает
АвтоприветствиеСообщение доставленоВопрос решён
Ответ по фактуКлиент получил информациюДействие выполнено
Передача человекуБот распознал границуМенеджер ответил
Подтверждённое действиеЗапись или заказ сохраненыКлиент всем доволен
Закрытие обращенияПроцесс завершён в системеНет повторной проблемы
Таблица помогает не сравнивать несопоставимые события. Лайфхак: показывайте время до полезного ответа отдельно для обращений, которые бот решил сам, и тех, которые он передал человеку.

Что делать с результатом

Если бот ускоряет справочные ответы, проверьте точность и повторные вопросы. Если переданные случаи тормозятся, меняйте назначение владельца и резерв, а не текст приветствия. Если менеджер отвечает медленно из-за поиска данных, база знаний может дать больший эффект, чем новый канал общения.
Сравнение скорости полезно только вместе с качеством и результатом. Клиенту нужен верный ответ или выполненное действие в разумное время. Одна мгновенная реплика без продолжения не заменяет этого результата.

Что ещё связано

Скорость ответа связана с очередью необработанных сообщений, нагрузкой команды и качеством передачи. В A3bot можно измерять события диалога и улучшать конкретный медленный переход. Стоимость зависит от каналов и CRM.

Заметка эксперта

Самая честная метрика для сравнения - время до первого полезного ответа по одинаковым темам. Автоматическое «получили ваше сообщение» считайте отдельно, иначе график скорости будет вводить в заблуждение.
Напишите, какой процесс хотите автоматизировать: A3bot
Обсудить бота