Как спланировать бюджет контекста и учесть эффект «потери середины»?
- Что такое lost in the middle?
- Как собирать промпт из истории и документов?
Контекст делят между системным промптом, историей, найденными документами, результатами инструментов и резервом под ответ; у каждой части — свой лимит, а при переполнении заранее известно, что сокращать (старую историю — в резюме, документы — меньше и лучше отобранные). Модели хуже используют информацию в середине длинного контекста, чем в начале и конце, поэтому самое важное ставят ближе к краям — например, вопрос пользователя и ключевые инструкции после документов.
- Резерв под ответ обязателен — иначе ответ обрежется
- Больше документов не всегда лучше: шум отвлекает модель
- Неизменную часть держат в начале — это также позволяет кэшировать префикс
А ещё Эффект зависит от модели — проверяют на своём наборе, меняя порядок фрагментов
Подробно
Пример бюджета для окна 32 тысячи токенов:
- системный промпт — 1,5 тысячи;
- инструменты и их описания — 2 тысячи;
- история — до 6 тысяч, старшее — резюме;
- документы — до 16 тысяч, 8–10 лучших фрагментов;
- ответ — резерв 2 тысячи.
Порядок: неизменные инструкции → документы → история → текущий вопрос с напоминанием формата. Так кэшируется начало, а вопрос стоит в конце, где модель внимательнее.
Проверка. Набор вопросов, где нужный факт ставится в разные позиции контекста, — видно, как падает точность в середине.
Что хотят услышать
- Разделение контекста и резерв под ответ.
- Правила сокращения при переполнении.
- Lost in the middle и порядок частей.
- Связь с кэшированием префикса.
Проверьте себя
Один верный вариант. Подумайте, потом откройте ответ.
Показать варианты и ответ
- ✗Заполнять окно документами до конца — чем больше контекста, тем точнее ответ
- ✓Лимиты на части и резерв под ответ; важное — к началу и концу
- ✗Заполнять окно документами до конца: модель одинаково внимательна ко всем позициям, поэтому больше контекста всегда даёт точнее ответ
- ✗Вопрос пользователя лучше всегда ставить в середину между документами
Связанные вопросы
Разбор собеседования с sotto
После собеседования sotto разбирает разговор: оценка, каждый вопрос — хорошо, частично или слабо, чего не хватило в ответе и над чем поработать к следующему разу. Первые 30 минут бесплатно.