Бизнес просит «сделать ИИ для поддержки». Как превратить такой запрос в измеримую задачу?
- Как ставить задачу для LLM-проекта?
- Как определить критерии качества LLM-функции?
Уточнить какую работу делает функция и для кого (черновик ответа оператору, автоответ клиенту, классификация обращений), какой результат считается успехом (доля обращений без оператора, время ответа, оценка клиента), что недопустимо (неверные обещания по деньгам, раскрытие данных). Собрать набор реальных примеров с ожидаемым поведением — он и есть техническое задание.
- Начать с узкого сценария с понятной ценностью, а не «со всего сразу»
- Метрики продукта (бизнес) и метрики качества (на наборе) — обе нужны
- Заранее договориться о пороге, при котором запускаем и при котором останавливаем
А ещё Если заказчик не может привести десять примеров хороших ответов — задача ещё не поставлена
Подробно
Шаги:
- Сценарии: выписать типы обращений, их долю и ценность.
- Роль системы: подсказка человеку, автоответ, маршрутизация.
- Критерии: что такое правильный ответ, что запрещено.
- Набор: 50–200 реальных запросов с ожидаемым поведением, размеченных вместе с экспертами.
- Метрики: доля правильных ответов по сценариям, доля передач оператору, стоимость и задержка.
- Пороги запуска и остановки.
Зачем. Без набора и критериев проект превращается в бесконечные демонстрации: каждому кажется, что «стало лучше» или «стало хуже». Набор делает прогресс измеримым и защищает от регрессий.
Что хотят услышать
- Узкий сценарий и роль системы.
- Критерии успеха и недопустимые ошибки.
- Набор реальных примеров как техническое задание.
- Пороги запуска.
Проверьте себя
Один верный вариант. Подумайте, потом откройте ответ.
Показать варианты и ответ
- ✗Сразу выбрать модель и показать демо — критерии появятся по ходу
- ✓Сценарий, критерии успеха, набор реальных примеров и пороги запуска
- ✗Сразу выбрать сильную модель, покрыть все типы обращений и показать демо — критерии успеха появятся из обратной связи после показа
- ✗Покрыть сразу все типы обращений, чтобы эффект был заметнее
Связанные вопросы
Разбор собеседования с sotto
После собеседования sotto разбирает разговор: оценка, каждый вопрос — хорошо, частично или слабо, чего не хватило в ответе и над чем поработать к следующему разу. Первые 30 минут бесплатно.