Этап 11 из 18 · ≈ 6 ч

Наборы для оценки и метрики

Основа с Junior

Из чего собирать набор примеров и какими метриками проверять ответы.

Что важно знать

  • Набор начинают с реальных запросов пользователей и известных ошибок; дополняют сложными и краевыми случаями. 50–100 хорошо подобранных примеров полезнее тысячи случайных.
  • Каждый найденный в работе баг становится новым примером набора.
  • Проверки по правилам там, где возможно: формат JSON, наличие ссылки, точное совпадение категории, вызван ли нужный инструмент.
  • Метрики классификации и извлечения — точность, полнота, F1 по полям.
  • Для свободного текста — оценка по критериям (верность источникам, полнота, тон) человеком или моделью-судьёй.
  • Метрики BLEU и ROUGE для ответов LLM почти бесполезны — они меряют совпадение слов, а не правильность.
  • Набор версионируется вместе с кодом и промптами.

Критерии освоения

Junior ≈ 6 ч

  • Собирает набор примеров из реальных запросов с ожидаемыми ответами
  • Пишет проверки по правилам — формат, ссылка, нужный инструмент

Практика. Собрать набор из 50 примеров для своего ассистента и скрипт, который прогоняет его и печатает отчёт.

Middle ≈ 8 ч

  • Строит набор по сценариям, считает метрики по каждому и встраивает прогон в CI
  • Превращает каждую найденную ошибку в новый пример набора

Практика. Встроить прогон набора в CI с отчётом по сценариям и порогом, который блокирует слияние при падении качества.

Senior ≈ 8 ч

  • Выстраивает в команде систему оценки с порогами, блокирующими выкатку, и владельцами наборов

Практика. Описать и внедрить процесс оценки качества для команды из нескольких LLM-функций.

Проверка знаний

Войдите, чтобы пройти тест: сданный тест отмечает тему пройденной на карте и в ИПР.

Вопросы с собеседований

Смотреть все
Как оценивать качество ответов LLM?Middle

Собрать набор тестовых примеров с ожидаемым результатом, выбрать метрики под задачу и прогонять его при каждом изменении промпта, модели или поиска.

Полный разбор
Как улучшить качество RAG, если он отвечает плохо?Middle

Сначала понять, где ломается: не нашли нужное (поиск) или нашли, но ответили плохо (генерация) — и чинить соответствующий этап.

Полный разбор
Как построить в команде систему оценки качества LLM-продукта?Senior

Оценка — инфраструктура, как тесты в CI. Набор примеров из реальных запросов и найденных ошибок, разбитый по сценариям; проверки по правилам там, где возможно, и калиброванный судья для свободного текста; прогон при каждом изменении промпта, модели, поиска с…

Полный разбор
Что такое LLM как судья (LLM-as-a-judge) и какие у этого подхода ловушки?Middle

Сильная модель оценивает ответы другой (или той же) модели по чёткой рубрике: верность фактам из контекста, полнота, следование формату. Это масштабирует оценку там, где точного ответа нет. Ловушки: смещение к позиции (в сравнении пар выигрывает первый или…

Полный разбор
Как спроектировать схему извлечения данных и измерить её точность?Middle

Схема снижает ошибки, если сужает пространство ответов: перечисления вместо свободного текста, обязательные поля только там, где значение всегда есть, null как явный вариант «не указано», нормализованные форматы (дата ISO, сумма числом в копейках), понятные…

Полный разбор
Как собрать первый набор примеров для оценки LLM-функции?Junior

Взять реальные запросы пользователей (или примеры от заказчика, если продукта ещё нет), отобрать разнообразные: частые, редкие, сложные, запросы без ответа, попытки выйти за рамки. Для каждого записать ожидаемое поведение: правильный ответ, нужные факты…

Полный разбор
Какие проверки ответов LLM можно автоматизировать без модели-судьи?Junior

Многое проверяется обычным кодом: формат (валидный JSON по схеме, длина ответа), наличие нужных фактов (подстрока, число, дата), отсутствие запрещённого (обещания скидок, контакты конкурентов, персональные данные), вызван ли нужный инструмент с правильными…

Полный разбор
Какие метрики качества классификации вы знаете?Junior

Precision — доля верных среди предсказанных положительных, recall — доля найденных среди всех настоящих положительных; F1 — их гармоническое среднее.

Полный разбор
Зачем делить данные на обучающую, валидационную и тестовую выборки?Junior

Обучающая — на ней модель учится, валидационная — подбираем параметры и сравниваем модели, тестовая — один раз в конце для честной оценки.

Полный разбор

Разборы темы

← Вся карта «ИИ-инженер»

Партнёр платформы

Разбор собеседования с sotto

После собеседования sotto разбирает разговор: оценка, каждый вопрос — хорошо, частично или слабо, чего не хватило в ответе и над чем поработать к следующему разу. Первые 30 минут бесплатно.

Разбор собеседования