Офлайн-набор не покрывает всего разнообразия реальных запросов. Окончательно качество проверяют на пользователях.
Что важно знать
- Явные сигналы: оценки ответа, жалобы. Их мало и они смещены.
- Неявные: повторил ли пользователь вопрос, скопировал ли ответ, позвал ли оператора, решилась ли задача.
- A/B-тест новой модели или промпта на доле трафика с заранее выбранной метрикой.
- Бизнес-метрики — доля обращений без оператора, время решения, конверсия — то, ради чего систему строили.
- Быстрый откат: модель и промпт переключаются конфигурацией, а не выкаткой кода.