Этап 12 из 18 · ≈ 4 ч

Галлюцинации

Основа с Junior

Почему модель уверенно выдумывает и как снизить и обнаружить выдумки.

Модель генерирует правдоподобное продолжение, а не проверенный факт. Если правильного ответа нет в контексте и в её знаниях — она достроит правдоподобный.

Что важно знать

  • Заземление: давать нужные данные в контексте (RAG, инструменты) и требовать отвечать только по ним.
  • Право сказать «не знаю» — явно в инструкции и в примерах.
  • Ссылки на источники и автоматическая проверка, что цитата действительно есть во фрагменте.
  • Факты, числа и расчёты — инструментами (SQL, калькулятор, API), а не «из головы» модели.
  • Измерять долю выдуманного на наборе для оценки — иначе борьба с галлюцинациями не управляема.

Критерии освоения

Junior ≈ 4 ч

  • Объясняет, почему модель выдумывает, и требует ответа только по данным контекста

Практика. Найти 5 вопросов, на которых ассистент выдумывает, и исправить поведение промптом.

Middle ≈ 6 ч

  • Добавляет ссылки на источники и автоматическую проверку цитат
  • Измеряет долю выдуманных ответов на наборе и снижает её

Практика. Внедрить проверку, что каждая цитата в ответе есть в найденных фрагментах, и измерить долю ответов с выдуманными фактами до и после.

Проверка знаний

Войдите, чтобы пройти тест: сданный тест отмечает тему пройденной на карте и в ИПР.

Вопросы с собеседований

Смотреть все
Что такое галлюцинации LLM и как с ними бороться?Junior

Галлюцинация — правдоподобный, но неверный ответ: модель генерирует вероятный текст, а не сверяется с фактами.

Полный разбор
Что такое RAG и как он устроен?Junior

RAG — модель отвечает по найденным документам: сначала поиск релевантных фрагментов, затем генерация ответа с ними в контексте.

Полный разбор
Почему модель не знает о недавних событиях и как это компенсировать?Junior

Модель выучила данные до даты среза обучения и после этого не обновляется: о более поздних событиях, ценах, версиях библиотек она не знает или уверенно отвечает устаревшим. Компенсируют, давая свежие данные в контексте: поиск по базе знаний или вебу (RAG)…

Полный разбор
Как заставить RAG-ассистента ссылаться на источники и проверять цитаты?Middle

Фрагментам в контексте дают идентификаторы, модель обязана указывать их у каждого утверждения (лучше в структурированном виде). Затем код проверяет: ссылки ведут только на реально переданные фрагменты, цитаты дословно встречаются в источнике, а утверждения…

Полный разбор
Как улучшить качество RAG, если он отвечает плохо?Middle

Сначала понять, где ломается: не нашли нужное (поиск) или нашли, но ответили плохо (генерация) — и чинить соответствующий этап.

Полный разбор
Как писать хорошие промпты?Junior

Хороший промпт — конкретная задача, контекст, ограничения и формат ответа, плюс примеры, если формат сложный.

Полный разбор

Разборы темы

← Вся карта «ИИ-инженер»

Партнёр платформы

Разбор собеседования с sotto

После собеседования sotto разбирает разговор: оценка, каждый вопрос — хорошо, частично или слабо, чего не хватило в ответе и над чем поработать к следующему разу. Первые 30 минут бесплатно.

Разбор собеседования