Этап 9 из 18 · ≈ 12 ч

Качество RAG

Основа с Middle

Почему RAG отвечает плохо и как это найти — поиск, контекст, генерация, оценка.

Ошибку RAG ищут по этапам, а не «подкручивая промпт».

симптом	где искать
нужный документ не нашёлся	разбиение, модель эмбеддингов, гибридный поиск, переформулирование
нашёлся, но не в топе	реранкер, число кандидатов
был в контексте, но ответ неверный	промпт, порядок фрагментов, слишком много шума
модель выдумала	инструкция отвечать только по документам, проверка ссылок

Что важно знать

Сначала набор вопросов с правильными документами и ответами — иначе улучшения не измерить.
Метрики поиска (recall@k) и метрики ответа (верность контексту, полнота, корректность) считают отдельно.
Если ответа в данных нет, модель должна это признать — это тоже проверяют.
Продвинутые схемы: агентный RAG (модель сама решает, что искать), графовый RAG для связей между сущностями — после того как базовый пайплайн отлажен.

Критерии освоения

Middle ≈ 12 ч

Собирает набор вопросов с правильными документами и ответами и измеряет поиск и ответ отдельно
Находит этап, на котором RAG ошибается, по трассам неудачных ответов
Добивается, чтобы ассистент признавал отсутствие ответа в данных

Практика. Взять базовый RAG, собрать набор из 100 вопросов, разложить ошибки по этапам и улучшить итоговое качество ответов не менее чем на 15%.

Senior ≈ 8 ч

Проектирует RAG с правами доступа и аудитом показанных документов
Решает, когда нужны агентный или графовый RAG, и измеряет их выгоду

Практика. Спроектировать и защитить RAG по документам компании с правами доступа, синхронизацией прав и планом оценки качества.

Проверка знаний

Войдите, чтобы пройти тест: сданный тест отмечает тему пройденной на карте и в ИПР.

Вопросы с собеседований

Смотреть все

Как улучшить качество RAG, если он отвечает плохо?Middle

Сначала понять, где ломается: не нашли нужное (поиск) или нашли, но ответили плохо (генерация) — и чинить соответствующий этап.

Полный разбор

Что такое галлюцинации LLM и как с ними бороться?Junior

Галлюцинация — правдоподобный, но неверный ответ: модель генерирует вероятный текст, а не сверяется с фактами.

Полный разбор

Как оценивать качество ответов LLM?Middle

Собрать набор тестовых примеров с ожидаемым результатом, выбрать метрики под задачу и прогонять его при каждом изменении промпта, модели или поиска.

Полный разбор

Как сделать RAG по документам компании с учётом прав доступа?Senior

Права проверяются при поиске, а не моделью: каждый фрагмент хранит метаданные доступа (документ, группы, уровень конфиденциальности), поисковый запрос всегда содержит фильтр по правам текущего пользователя, и в контекст модели попадает только разрешённое…

Полный разбор

Какие метрики используют для оценки поиска в RAG — recall@k, MRR, nDCG?Middle

Нужен набор «вопрос → нужные фрагменты». Recall@k — доля вопросов, для которых нужный фрагмент попал в первые k (главная метрика для RAG: не нашли — модель не ответит). MRR — среднее 1/позиция первого правильного фрагмента: показывает, насколько высоко он…

Полный разбор

Как заставить RAG-ассистента ссылаться на источники и проверять цитаты?Middle

Фрагментам в контексте дают идентификаторы, модель обязана указывать их у каждого утверждения (лучше в структурированном виде). Затем код проверяет: ссылки ведут только на реально переданные фрагменты, цитаты дословно встречаются в источнике, а утверждения…

Полный разбор

← Вся карта «ИИ-инженер»

Партнёр платформы

Разбор собеседования с sotto

После собеседования sotto разбирает разговор: оценка, каждый вопрос — хорошо, частично или слабо, чего не хватило в ответе и над чем поработать к следующему разу. Первые 30 минут бесплатно.

Разбор собеседования