Современные модели принимают сотни тысяч токенов. Для небольшой базы знаний (десятки документов) проще положить её в контекст целиком — с кэшированием префикса это дёшево.
Когда всё же RAG
- Данных больше, чем помещается, или они часто меняются.
- Нужны права доступа: каждому пользователю — только его документы.
- Важны цена и задержка на каждый запрос.
- Нужны точные ссылки на источник.
- Модель хуже использует информацию из середины очень длинного контекста.
Часто лучшее решение — сочетание: поиск находит нужные документы целиком, а не мелкие фрагменты, и они идут в длинный контекст.