Какие сигналы пользователей собирать для оценки LLM-продукта?
- Что такое неявная обратная связь?
- Как понять, что ответ ассистента был плохим?
Явные сигналы: оценка ответа (палец вверх или вниз), комментарий, жалоба — их мало и они смещены к крайним эмоциям. Неявные: пользователь скопировал или принял ответ, переспросил то же другими словами, сгенерировал заново, отредактировал черновик (насколько сильно), ушёл к оператору, бросил диалог, вернулся с тем же вопросом. Каждый сигнал привязывают к конкретному ответу (трассе) — иначе его нельзя разобрать.
- Правки оператора к черновику — самый ценный сигнал: видно, что было неверно
- Неявные сигналы шумные — интерпретируют по совокупности и проверяют выборочным разбором
- Метрики считают по сценариям и версиям промпта и модели
А ещё Сигналы — сырьё для набора оценки: плохие ответы после разбора становятся примерами
Подробно
Примеры по продуктам:
- ассистент поддержки: решён ли вопрос без оператора, повторное обращение в течение суток;
- помощник в коде: принята ли подсказка, сколько её правили;
- генерация писем: отправлено ли письмо, расстояние правки.
Сбор: события в интерфейсе с идентификатором ответа, хранение рядом с трассой, дашборд по версиям.
Осторожно: рост доли принятых ответов может означать, что пользователи перестали проверять, — важна выборочная экспертиза.
Что хотят услышать
- Явные и неявные сигналы, их ограничения.
- Привязка к ответу и версии.
- Использование для набора оценки и улучшений.
Проверьте себя
Несколько верных вариантов. Подумайте, потом откройте ответ.
Показать варианты и ответ
- ✗Число токенов в системном промпте и длина ответа модели
- ✓Пользователь переспросил то же другими словами
- ✗Сколько раз в день пользователь открывает приложение, без связи с ответами
- ✓Оператор сильно правил черновик ответа
- ✓Пользователь попросил перевести на оператора
Связанные вопросы
Разбор собеседования с sotto
После собеседования sotto разбирает разговор: оценка, каждый вопрос — хорошо, частично или слабо, чего не хватило в ответе и над чем поработать к следующему разу. Первые 30 минут бесплатно.