Что такое RAG и как он устроен?
- Что такое Retrieval-Augmented Generation?
- Как научить LLM отвечать по своим документам?
- Из каких шагов состоит RAG-конвейер?
RAG — модель отвечает по найденным документам: сначала поиск релевантных фрагментов, затем генерация ответа с ними в контексте.
- Индексация: документы → фрагменты → эмбеддинги → индекс
- Запрос: вопрос → поиск фрагментов → промпт «ответь по контексту» → ответ со ссылками
А ещё Плюсы: свежие и закрытые данные без дообучения, источники для проверки, меньше галлюцинаций
Подробно
Зачем. Модель не знает ваших внутренних документов и событий после даты обучения, а дообучать её ради фактов дорого и ненадёжно. RAG подкладывает нужные знания в контекст в момент запроса.
Индексация (заранее):
- загрузить документы и извлечь текст (PDF, вики, тикеты);
- разрезать на фрагменты (chunking) с метаданными — источник, раздел, дата, права;
- посчитать эмбеддинги фрагментов;
- сохранить в индекс — векторный и часто полнотекстовый.
Ответ на запрос:
- при необходимости переформулировать вопрос (учесть историю диалога);
- найти top-k фрагментов: векторный или гибридный поиск, фильтры;
- переранжировать и отобрать лучшие;
- собрать промпт: инструкция отвечать только по контексту, фрагменты с пометками источников, вопрос;
- сгенерировать ответ со ссылками на источники.
Где ломается: не нашёлся нужный фрагмент (самая частая проблема), нашёлся, но модель его не использовала или исказила, фрагменты противоречат друг другу. Поэтому поиск и генерацию оценивают отдельно.
Пример
Ассистент поддержки: «Можно ли вернуть товар после 14 дней?» → поиск по базе правил → два фрагмента о возвратах → ответ «Да, если товар не использовался: до 30 дней по программе лояльности (Правила возврата, п. 4.2)».
Что хотят услышать
- Идея: поиск + генерация, знания в контексте, а не в весах.
- Этапы индексации и обработки запроса.
- Плюсы по сравнению с «голой» моделью.
- Где RAG ломается.
Частые ошибки
- Сводить RAG к «векторной базе».
- Не упоминать, что качество в первую очередь зависит от поиска.
Проверьте себя
Один верный вариант. Подумайте, потом откройте ответ.
Показать варианты и ответ
- ✓Ответ по найденным документам: поиск фрагментов, затем генерация
- ✗Дообучение модели на документах компании перед запуском
- ✗Метод сжатия модели, чтобы она помещалась на телефоне
- ✗Кэш готовых ответов модели на частые вопросы пользователей
Что спросят дальше
Разбор темы
- RAG — ответы по своим документам
Как модель отвечает по документам компании — эмбеддинги, разбиение на фрагменты, векторный и гибридный поиск, реранкинг.
Связанные вопросы
Разбор собеседования с sotto
После собеседования sotto разбирает разговор: оценка, каждый вопрос — хорошо, частично или слабо, чего не хватило в ответе и над чем поработать к следующему разу. Первые 30 минут бесплатно.