Как собрать первый набор примеров для оценки LLM-функции?
- С чего начать оценку качества LLM?
- Что такое golden set?
Взять реальные запросы пользователей (или примеры от заказчика, если продукта ещё нет), отобрать разнообразные: частые, редкие, сложные, запросы без ответа, попытки выйти за рамки. Для каждого записать ожидаемое поведение: правильный ответ, нужные факты, требуемый инструмент или отказ. Начать можно с 30–50 примеров и пополнять: каждая найденная ошибка становится новым примером.
- Хранить набор в репозитории в простом формате (JSONL, таблица)
- Ожидаемое поведение формулировать проверяемо: «в ответе есть срок 14 дней», а не «хороший ответ»
- Не подгонять промпт под набор до полной точности — набор должен оставаться честной проверкой
А ещё Отметьте сценарий у каждого примера, чтобы видеть качество по сценариям
Подробно
Формат примера:
{"id": "ret-07", "scenario": "возврат",
"input": "Можно вернуть кроссовки через месяц?",
"expect": {"contains": ["14 дней"], "no_tool": true}}Что включить:
- типичные вопросы каждого сценария;
- пограничные и неоднозначные;
- вопросы, на которые ответа нет (ожидается «не знаю» или передача оператору);
- опечатки, разговорный стиль;
- попытки заставить нарушить правила.
Использование: прогон после каждого изменения промпта или модели, сравнение с прошлым результатом.
Что хотят услышать
- Реальные и разнообразные примеры.
- Проверяемое ожидаемое поведение.
- Пополнение набора ошибками.
- Прогон при изменениях.
Проверьте себя
Один верный вариант. Подумайте, потом откройте ответ.
Показать варианты и ответ
- ✗Придумать пять простых вопросов, на которые модель точно ответит
- ✓Реальные разнообразные запросы с ожидаемым поведением
- ✗Придумать пять простых вопросов, править промпт, пока не будет 100 %, и больше набор не трогать, чтобы метрика была сравнимой
- ✗Править промпт, пока на наборе не будет 100 %, а потом набор не трогать
Разбор темы
- Оценка качества LLM-продукта
Как собрать набор примеров, какие проверки делать кодом, когда нужен LLM-судья и как мерить качество поиска.
Связанные вопросы
Разбор собеседования с sotto
После собеседования sotto разбирает разговор: оценка, каждый вопрос — хорошо, частично или слабо, чего не хватило в ответе и над чем поработать к следующему разу. Первые 30 минут бесплатно.