Зачем RAG, если у моделей контекст на сотни тысяч токенов?
- Что такое lost in the middle?
- Что такое context engineering?
Длинный контекст не заменяет поиск: стоимость и задержка растут с каждым токеном, качество падает на длинных входах (модель хуже использует информацию из середины — lost in the middle), а база знаний обычно больше любого окна и постоянно меняется. Положить всё в контекст разумно для небольшого и стабильного набора документов, особенно с кэшированием промпта.
- Context engineering — осознанно собирать в контекст ровно то, что нужно для шага
- RAG даёт ссылки на источники и разграничение прав доступа
- Компромисс: поиск крупными фрагментами + длинный контекст
А ещё Для одного длинного документа (договор, отчёт) — целиком в контекст, без нарезки
Подробно
Аргументы за RAG:
- цена: каждый запрос оплачивает все токены контекста;
- задержка: prefill длинного контекста — секунды до первого токена;
- качество: на длинных входах модели теряют факты, особенно в середине; релевантные 5 фрагментов часто дают лучший ответ, чем 500 страниц;
- масштаб и актуальность: корпоративная база — гигабайты, и она меняется ежедневно;
- права доступа и цитирование: пользователь видит только свои документы, ответ ссылается на источник.
Когда хватит длинного контекста: анализ одного большого документа; небольшой стабильный справочник, который можно закэшировать (prompt caching делает повторные запросы дешёвыми и быстрыми); прототип, где нет времени строить поиск.
Context engineering — шире RAG: что положить в контекст на каждом шаге агента (инструкции, историю, результаты инструментов, найденные документы), что сжать, что выбросить. Лишний контекст не нейтрален — он отвлекает модель и стоит денег.
Что хотят услышать
- Цена, задержка и деградация качества на длинном контексте.
- Когда достаточно положить всё в контекст.
- Идея context engineering.
Проверьте себя
Один верный вариант. Подумайте, потом откройте ответ.
Показать варианты и ответ
- ✗Длинный контекст полностью заменил RAG для любых баз знаний
- ✓Цена и задержка растут с токенами, качество падает, а база больше окна
- ✗Модель одинаково хорошо использует любую часть длинного контекста
- ✗RAG нужен только моделям с окном меньше 8 тысяч токенов
Связанные вопросы
Разбор собеседования с sotto
После собеседования sotto разбирает разговор: оценка, каждый вопрос — хорошо, частично или слабо, чего не хватило в ответе и над чем поработать к следующему разу. Первые 30 минут бесплатно.