AI-агенты
Тестирование AI-агента записи: сценарии, метрики и контроль
Как тестировать AI-агента записи: набор диалогов, точность услуг и слотов, действия, оплаты, безопасность, handoff, метрики и контроль качества.
Коротко
Тестирование AI-агента записи должно проверять два уровня: понимает ли агент запрос клиента и правильно ли выполняет действие в системе. Хороший ответ бесполезен, если выбран неверный слот, создан дубль, потеряна цена или диалог не передан оператору при исключении.
Для контроля нужен воспроизводимый набор диалогов с ожидаемыми фактами, действиями и условиями эскалации. Его запускают перед релизом, после изменений базы знаний или интеграций и регулярно дополняют реальными обезличенными ошибками.
Главное в статье
Оценивайте ответы, параметры записи и итоговое состояние внешних систем отдельно.
Включайте обычные, неоднозначные, конфликтные и запрещённые сценарии.
Проверяйте не точное совпадение текста, а обязательные факты, допустимые действия и отсутствие критичных ошибок.
Handoff считается успешным, если оператор получает причину, контекст и уже подтверждённые данные.
Связка AI-агента с MySlot позволяет проверять реальный результат в слотах, записях, статусах и CRM.
Раздел 01
Что проверять у AI-агента записи
Диалоговый уровень включает распознавание намерения, услуги, даты, времени, филиала, специалиста и ограничений. Операционный уровень проверяет поиск актуальной доступности, создание или изменение записи, оплату, уведомление и CRM-статус.
Третий уровень — границы поведения. Агент должен уточнять неоднозначность, не придумывать цену или доступность, не выполнять запрещённое действие и передавать человеку случаи, которые выходят за утверждённый сценарий.
Понимание
Правильно выделены намерение, сущности, ограничения и недостающие данные.
Действие
Вызван разрешённый инструмент с корректными параметрами, без дубля и потери контекста.
Результат
Запись, оплата, уведомление и CRM отражают то, что подтвердил клиент.
Раздел 02
Как собрать тестовый набор
Базовые сценарии
Новая запись, выбор услуги, уточнение времени, перенос, отмена и проверка статуса.
Неоднозначность
Несколько похожих услуг, неполная дата, относительное время, неизвестный филиал и смена решения.
Ограничения
Нет слотов, истёк срок отмены, недоступен ресурс, изменилась цена или требуется ручное подтверждение.
Ошибки интеграций
Недоступна CRM, платёж не завершён, инструмент вернул тайм-аут или повторный запрос.
Безопасность
Запрос чужой записи, лишних персональных данных, запрещённой скидки или изменения без подтверждения.
Handoff
Жалоба, сложное исключение, отсутствие уверенности и просьба клиента связаться с человеком.
Раздел 03
Какие метрики использовать
| Метрика | Что показывает | Как считать |
|---|---|---|
| Точность фактов | Корректность услуги, цены, правил и адреса. | Доля обязательных утверждений, совпавших с утверждённым источником. |
| Точность действия | Верно ли создана или изменена запись. | Доля сценариев с правильным инструментом и всеми подтверждёнными параметрами. |
| Критическая ошибка | Опасное обещание, чужие данные, неверная оплата или двойная бронь. | Отдельная доля ошибок с нулевым допустимым уровнем для релиза. |
| Успешный handoff | Качество передачи сложного случая человеку. | Доля передач с причиной, резюме, контактом и сохранённым контекстом. |
Раздел 04
Как организовать контроль качества
Опишите эталон
Для каждого теста задайте входной диалог, обязательные факты, допустимые действия и ожидаемый итог.
Разделите критичность
Отличайте стилистическую неточность от ошибки, которая меняет слот, сумму, доступ или данные клиента.
Автоматизируйте повторение
Запускайте стабильный набор после изменения инструкций, моделей, базы знаний и интеграций.
Проверяйте состояние
Сверяйте не только ответ, но и запись, ресурс, оплату, уведомление, CRM и отсутствие дублей.
Разбирайте реальные ошибки
Добавляйте обезличенный проблемный диалог в регрессионный набор после исправления причины.
Вводите порог релиза
Не выпускайте изменение при критической ошибке, даже если средняя оценка остальных диалогов высокая.
Важно
Практический совет
Начните с 40 сценариев: 20 обычных, 10 неоднозначных, 5 ошибок интеграций и 5 проверок безопасности. Для каждого фиксируйте ожидаемый итог в системе записи — это полезнее субъективной оценки «ответ звучит хорошо».
Вывод
Итог
Качество AI-агента измеряется корректностью фактов, действий и границ поведения. Воспроизводимый тестовый набор и проверка конечного состояния защищают процесс от скрытых регрессий.
MySlot может выступать операционной средой, где проверяются слоты, записи, статусы, оплаты и CRM-результат после действий AI-агента.
Демо
Хотите понять, какой сценарий онлайн-записи нужен вашему бизнесу?
Покажем демо MySlot и разберём ваш процесс: услуги, расписание, ресурсы, CRM, оплаты и уведомления.
MySlot
Когда стоит рассмотреть MySlot
MySlot подойдёт, если вам нужно:
Похожие статьи
Что почитать дальше
AI-агенты
База знаний для AI-агента записи: структура, правила и контроль
Как подготовить базу знаний для AI-агента записи: услуги, расписание, цены, ограничения, ответы, действия, эскалация, тесты и обновления.
ЧитатьAI-агенты
Безопасный AI-агент онлайн-записи: правила, статусы и контроль ошибок
Как настроить AI-агента записи безопасно: правила расписания, ограничения, CRM-статусы, аудит действий, оплата и передача сложных диалогов человеку.
ЧитатьAI-агенты
Передача диалога от AI-агента администратору: правила, статусы и CRM
Как настроить передачу диалога от AI-агента администратору: причины handoff, статусы, SLA, контекст записи, CRM и контроль качества.
ЧитатьЗапуск
Хотите запустить онлайн-запись без хаоса и ручных переносов?
MySlot поможет принимать записи, управлять расписанием, ресурсами, оплатами и передавать данные в CRM.