Что такое галлюцинации LLM и как с ними бороться?
- Почему языковая модель выдумывает факты?
- Как уменьшить количество выдуманных ответов?
Галлюцинация — правдоподобный, но неверный ответ: модель генерирует вероятный текст, а не сверяется с фактами.
- Снижают: RAG с источниками, просьба отвечать только по контексту и говорить «не знаю», проверка ответа
- Структурированный вывод и валидация, инструменты вместо «памяти» модели (поиск, калькулятор, база)
А ещё Полностью убрать нельзя — нужно измерять частоту и проектировать продукт с её учётом
Подробно
Почему возникают. Модель обучена продолжать текст правдоподобно. Когда нужного знания нет, устарело или вопрос неоднозначен, она всё равно генерирует уверенный ответ: выдуманные ссылки, функции библиотек, цифры. Усиливают проблему узкие темы, свежие события, длинные цепочки рассуждений и вопросы с ложной предпосылкой («почему X сделал Y», если он не делал).
Как снижать:
- дать факты в контексте — RAG: подобрать документы и попросить отвечать только по ним, со ссылками на источник;
- разрешить не знать — явно указать, что при нехватке данных нужно ответить «нет информации»;
- инструменты — расчёты, поиск, запросы к базе выполняет код, а не модель «по памяти»;
- ограничить формат — JSON-схема, выбор из списка, проверка результата кодом;
- проверка — второй проход модели или правило, которое сверяет ответ с источниками;
- продукт — показывать источники, просить подтверждение для важных действий.
Измерение. Частоту галлюцинаций проверяют на наборе вопросов с известными ответами: доля ответов, которые не подтверждаются контекстом (faithfulness, groundedness).
Что хотят услышать
- Причина: генерация правдоподобного текста, а не поиск истины.
- Несколько конкретных способов снижения.
- Понимание, что проблема снижается, а не исчезает, и её надо измерять.
Частые ошибки
- «Достаточно снизить температуру».
- «С RAG галлюцинаций не бывает» — модель может исказить и найденный текст.
Проверьте себя
Несколько верных вариантов. Подумайте, потом откройте ответ.
Показать варианты и ответ
- ✗Правильно составленный системный промпт полностью убирает галлюцинации
- ✓RAG с источниками и ответ только по контексту
- ✗Повышение temperature делает ответы модели точнее и надёжнее
- ✓Инструменты вместо «памяти»: поиск, калькулятор, база
Что спросят дальше
Разбор темы
- LLM в продакшене — стоимость, надёжность и наблюдаемость
Как сделать LLM-функцию быстрой, недорогой и надёжной — стриминг, повторы, кэш, guardrails, трассировка и борьба с галлюцинациями.
Связанные вопросы
Разбор собеседования с sotto
После собеседования sotto разбирает разговор: оценка, каждый вопрос — хорошо, частично или слабо, чего не хватило в ответе и над чем поработать к следующему разу. Первые 30 минут бесплатно.