Главный навык ИИ-инженера — измерять. Без оценки нельзя сказать, стал ли новый промпт лучше, можно ли перейти на дешёвую модель и не сломалось ли что-то после обновления. Команды, которые строят оценку первой, двигаются быстрее остальных.
Уровни оценки:
- Офлайн — набор примеров с ожидаемым результатом, прогон при каждом изменении, как тесты в CI.
- Онлайн — реакция пользователей: оценки, переформулирование вопроса, передача оператору, A/B-тест.
- Разбор — регулярный ручной просмотр случайных и проблемных диалогов.