Этап 11 из 18 · ≈ 6 ч

LLM как судья

Основа с Middle

Автоматическая оценка ответов другой моделью — как сделать её надёжной.

Модель-судья получает вопрос, ответ, иногда эталон и критерии и выносит оценку. Это позволяет проверять тысячи ответов без людей.

Что важно знать

  • Конкретные критерии («ответ использует только факты из документов: да/нет») надёжнее шкал «от 1 до 10».
  • Калибровка: сравнить оценки судьи с оценками людей на выборке; без этого судья — непроверенная метрика.
  • Известные перекосы: предпочтение длинных ответов, своих собственных ответов, первого варианта в паре.
  • Попарное сравнение двух версий часто устойчивее абсолютной оценки.
  • Судья стоит денег — его вызовы учитывают в бюджете экспериментов.

Критерии освоения

Middle ≈ 6 ч

  • Пишет промпт судьи с конкретными критериями вместо шкалы 1–10
  • Калибрует судью по разметке людей и измеряет согласие
  • Учитывает перекосы судьи (длина, позиция, свои ответы)

Практика. Разметить вручную 50 ответов, построить судью и добиться согласия с разметкой не ниже 85%.

Проверка знаний

Войдите, чтобы пройти тест: сданный тест отмечает тему пройденной на карте и в ИПР.

Вопросы с собеседований

Смотреть все
Что такое LLM как судья (LLM-as-a-judge) и какие у этого подхода ловушки?Middle

Сильная модель оценивает ответы другой (или той же) модели по чёткой рубрике: верность фактам из контекста, полнота, следование формату. Это масштабирует оценку там, где точного ответа нет. Ловушки: смещение к позиции (в сравнении пар выигрывает первый или…

Полный разбор
Как откалибровать LLM-судью и убедиться, что ему можно доверять?Middle

Взять выборку ответов (100–300), разметить её людьми по той же рубрике, прогнать судью и посчитать согласие: долю совпадений, а для несбалансированных оценок — каппу Коэна или precision/recall судьи по классу «плохой ответ». Разобрать расхождения, уточнить…

Полный разбор
Как оценивать качество ответов LLM?Middle

Собрать набор тестовых примеров с ожидаемым результатом, выбрать метрики под задачу и прогонять его при каждом изменении промпта, модели или поиска.

Полный разбор
Как построить в команде систему оценки качества LLM-продукта?Senior

Оценка — инфраструктура, как тесты в CI. Набор примеров из реальных запросов и найденных ошибок, разбитый по сценариям; проверки по правилам там, где возможно, и калиброванный судья для свободного текста; прогон при каждом изменении промпта, модели, поиска с…

Полный разбор
Как заставить RAG-ассистента ссылаться на источники и проверять цитаты?Middle

Фрагментам в контексте дают идентификаторы, модель обязана указывать их у каждого утверждения (лучше в структурированном виде). Затем код проверяет: ссылки ведут только на реально переданные фрагменты, цитаты дословно встречаются в источнике, а утверждения…

Полный разбор

Разборы темы

← Вся карта «ИИ-инженер»

Партнёр платформы

Разбор собеседования с sotto

После собеседования sotto разбирает разговор: оценка, каждый вопрос — хорошо, частично или слабо, чего не хватило в ответе и над чем поработать к следующему разу. Первые 30 минут бесплатно.

Разбор собеседования