Качество ответов ассистента внезапно упало. Как будете разбираться?
- Пользователи жалуются, что бот стал отвечать хуже. Что делать?
Сначала подтвердить и измерить: метрики качества, жалобы, доля передачи оператору — по сценариям и с момента начала. Затем искать что изменилось: выкатки кода, промптов и конфигурации, версия модели у провайдера, данные в базе знаний и индекс, поведение пользователей, внешние зависимости (инструменты, поиск). По трассам плохих диалогов определить этап: поиск, контекст, генерация, инструмент. Смягчить откатом, исправить, добавить примеры в набор оценки.
- Без логирования версий промпта, модели и индекса разбор превращается в гадание
- Тихое обновление модели за псевдонимом — частая причина
- Сломанная индексация (пустые фрагменты, ошибка извлечения) выглядит как «модель поглупела»
А ещё После инцидента — разбор причин и проверка, которая поймала бы проблему раньше
Подробно
План разбора:
- Масштаб: какие сценарии, с какого времени, какая доля.
- Изменения в окне: выкатки, промпты, модель, данные, индекс, зависимости.
- Трассы плохих диалогов: нашёлся ли нужный документ, что было в контексте, какие инструменты вызвались и что вернули.
- Воспроизведение на наборе оценки: прогон текущей и предыдущей конфигурации.
- Смягчение: откат промпта или модели, переиндексация, отключение сломанного инструмента.
- Исправление и новые примеры в набор, алерт на ранний признак.
Предпосылки, без которых это невозможно: версии всех компонентов в каждой трассе, онлайн-метрики по сценариям, быстрый откат конфигурацией.
Что хотят услышать
- Измерение и локализация во времени и сценариях.
- Перечень возможных изменений, включая модель провайдера и данные.
- Трассы, воспроизведение, откат и разбор причин.
Проверьте себя
Один верный вариант. Подумайте, потом откройте ответ.
Показать варианты и ответ
- ✗Сразу переписать системный промпт, добавив более строгие инструкции модели
- ✗Перейти на другую, более сильную модель, не разбираясь в причинах падения
- ✓Измерить падение, найти изменение, по трассам определить этап и откатить
- ✗Подождать пару дней: качество обычно восстанавливается после обновления провайдера
Связанные вопросы
Разбор собеседования с sotto
После собеседования sotto разбирает разговор: оценка, каждый вопрос — хорошо, частично или слабо, чего не хватило в ответе и над чем поработать к следующему разу. Первые 30 минут бесплатно.