Как проверять, на каких документах основан ответ ИИ-бота

Пример расчёта (условные цифры): бот дал 100 ответов за день, но в 10 из них не удалось быстро найти подтверждающий документ. Даже если текст звучит уверенно, эти ответы нужно проверить. На БЕСПЛАТНОЙ КОНСУЛЬТАЦИИ можно определить, какие источники и проверки нужны вашему сценарию.

Недостаточно показать список файлов рядом с текстом. Нужно понимать, какой конкретный фрагмент поддерживает каждое важное утверждение: цену, срок, ограничение или порядок действия. Документ может быть релевантен теме, но не содержать сделанный ботом вывод. Поэтому в журнале ответа сохраняйте найденные фрагменты, название и версию файла, дату действия и сформулированный текст.

Разделяйте прямой факт и интерпретацию. Если в регламенте сказано «срок до пяти рабочих дней», бот не должен обещать «точно послезавтра» без данных о текущем заказе. Если FAQ объясняет общий возврат, это не основание автоматически удовлетворить спорный конкретный случай. Для вывода с дополнительными условиями бот должен уточнить данные или передать вопрос ответственному.

Вопрос к вам: сможет ли сотрудник по спорному ответу за минуту найти точный пункт документа, который его подтверждает?

Лайфхак: в тестах просите бота ответить на вопрос, которого нет в материалах. Проверяемая система должна честно отказаться от уверенного ответа, а не подобрать похожий файл для видимости ссылки.

Старый прайс может быть семантически ближе к вопросу, чем новый. Без даты действия и приоритета система выберет неправильный источник. Архивные документы исключайте из обычной выдачи или маркируйте так, чтобы ими нельзя было обосновать текущий ответ. При изменении материала обновляйте поисковый индекс и проверяйте, что кэш не продолжает возвращать старый фрагмент.

Если два действующих файла противоречат, ИИ не должен самостоятельно решить, какое правило «правильнее». Нужен владелец содержания, который устранит конфликт. До этого бот может назвать факт неопределённости внутри команды и направить клиентский вопрос человеку. Скрытое усреднение двух условий особенно опасно для цены и юридически значимых обещаний.

Права доступа влияют и на поиск, и на сформированный ответ. Внешний бот не должен получать основания из закрытого внутреннего регламента, если они не предназначены для клиента. Сотрудник тоже должен видеть только те разделы, которые доступны его роли. Проверьте, что запрещённый документ не просачивается через пересказ, даже когда прямая ссылка скрыта.

Пример расчёта (условные цифры): из 10 неподтверждённых ответов 4 могут быть из архивных файлов, 3 - выводом сверх текста, 2 - из конфликтующих документов и 1 - без найденного источника. Для каждой причины нужно своё исправление; общий показатель точности её не объяснит.

Укажите тип, владельца, версию, дату действия и права. Уберите дубли и архивные копии из рабочего поиска. Согласуйте приоритет по критичным полям.

Для каждого ответа фиксируйте использованные участки документа и идентификаторы версий. Сотрудник должен иметь возможность открыть первоисточник.

В тестах сопоставляйте утверждения бота с фрагментами. Особое внимание уделяйте цифрам, срокам, исключениям и словам «гарантируем», «всегда», «точно».

При отсутствии источника, конфликте или неполных данных бот должен назвать ограничение и передать вопрос человеку. Это отдельный успешный исход сценария.

Когда меняется прайс или правило, проверьте ответы через реальный интерфейс. Убедитесь, что новая версия используется, а старая больше не обосновывает актуальное обещание.

Просто ссылка на документ. Плюсы: сотрудник знает, где искать подробности. Главный риск: ссылка может вести на большой или нерелевантный файл, который не подтверждает конкретное утверждение.

Ответ с точным фрагментом и версией. Плюсы: легче проверить смысл и найти ошибку. Главный риск: само наличие цитаты не гарантирует верный вывод; выборочную проверку содержимого всё равно выполняет человек.

Таблица удобна для аудита случайной выборки ответов. Лайфхак: сохраняйте не только успешные цитаты, но и случаи «источник не найден». Они показывают пробелы базы знаний и помогают назначить владельца нового материала.

Считайте долю ответов с проверенным основанием, ошибки версии, конфликты документов, исправления человеком и вопросы без источника. Не стремитесь убрать последнюю категорию искусственно: честный отказ лучше уверенной ошибки. Выборочно проверяйте, соответствует ли ответ контексту клиента и не пропущено ли критичное исключение.

После выявленной ошибки исправьте первопричину: документ, разметку, права, поиск или правило передачи. Один ручной ответ клиенту не гарантирует, что бот не повторит ту же ошибку завтра. Проверяемая цепочка от вопроса до фрагмента делает такие исправления возможными.

Контроль основания требует чистой базы знаний, актуальных версий и ясных границ передачи человеку. В A3bot можно организовать ответы с источником и проверкой спорных случаев. Стоимость зависит от структуры материалов и уровня контроля.

Ссылка на документ не равна доказательству. Проверяйте, содержит ли конкретный фрагмент именно тот факт, который бот сообщил клиенту, и действует ли эта версия сегодня.

Напишите, какой процесс хотите автоматизировать: A3bot