Что такое LLM как судья (LLM-as-a-judge) и какие у этого подхода ловушки?
- Как автоматически оценивать ответы LLM?
Сильная модель оценивает ответы другой (или той же) модели по чёткой рубрике: верность фактам из контекста, полнота, следование формату. Это масштабирует оценку там, где точного ответа нет. Ловушки: смещение к позиции (в сравнении пар выигрывает первый или второй), к длине (длиннее — «лучше»), к своему стилю; судья ошибается — его нужно калибровать по человеческой разметке.
- Оценка по шкале с описанием каждого балла надёжнее «оцени от 1 до 10»
- В попарном сравнении порядок меняют местами и усредняют
- Бинарные критерии («есть ли утверждения без опоры на контекст») стабильнее баллов
А ещё Где ответ проверяется кодом (формат JSON, точное значение) — проверяют кодом, а не судьёй
Подробно
Где применяют: регрессионные тесты промптов и RAG-конвейера, сравнение моделей и версий, мониторинг качества в продакшене на выборке реальных запросов.
Как сделать надёжнее:
- рубрика с критериями и примерами для каждого уровня;
- попросить сначала короткое обоснование, затем оценку;
- бинарные или трёхуровневые шкалы вместо 1–10;
- попарное сравнение — с перестановкой вариантов;
- судья сильнее или хотя бы не слабее оцениваемой модели;
- калибровка: 50–200 примеров размечают люди, считают согласие судьи с людьми и правят рубрику, пока согласие не станет приемлемым.
Типовые метрики RAG, которые считают судьёй: faithfulness (всё ли в ответе подтверждается найденными документами), answer relevance, context relevance. Фреймворки: Ragas, DeepEval, promptfoo.
Ограничение: судья не заменяет человеческую проверку на сложных и рискованных доменах, а метрики, которые оптимизируют напрямую, со временем перестают отражать качество.
Что хотят услышать
- Идея и где применяется.
- Известные смещения судьи.
- Как повысить надёжность и калибровать.
Проверьте себя
Несколько верных вариантов. Подумайте, потом откройте ответ.
Показать варианты и ответ
- ✓Смещение к позиции ответа в попарном сравнении
- ✗Судья объективен и не нуждается в рубрике и проверке людьми
- ✓Предпочтение более длинных ответов
- ✓Ошибки судьи — калибруют по разметке людей
- ✗Судья одинаково оценивает ответы независимо от их длины и порядка
Разбор темы
- Оценка качества LLM-продукта
Как собрать набор примеров, какие проверки делать кодом, когда нужен LLM-судья и как мерить качество поиска.
Связанные вопросы
Разбор собеседования с sotto
После собеседования sotto разбирает разговор: оценка, каждый вопрос — хорошо, частично или слабо, чего не хватило в ответе и над чем поработать к следующему разу. Первые 30 минут бесплатно.