Как устроить память агента для длинных задач и что делать с приватностью сохранённого?
- Как агенту не терять контекст в длинной задаче?
- Как хранить память ассистента о пользователе?
В длинной задаче контекст растёт с каждым шагом, дорожает и ухудшает качество. Решение — внешняя рабочая память: план, найденные факты, принятые решения и прогресс записываются в хранилище (файл, база), а в контекст попадает сжатое текущее состояние; старые шаги резюмируются или удаляются. Влияние памяти измеряют на наборе задач: успешность, стоимость, число шагов. Долговременная память о пользователе — это персональные данные: пользователь должен видеть, исправлять и удалять сохранённое.
- Сжатие контекста теряет детали — важное нужно явно сохранять до сжатия
- Результаты инструментов хранят снаружи, в контексте — ссылку и краткий итог
- Память может быть отравлена инъекцией — проверять, что именно записывается
А ещё Срок хранения и согласие пользователя — часть дизайна, а не доработка
Подробно
Рабочая память агента:
- файл плана и прогресса, который агент обновляет;
- заметки с ключевыми фактами и решениями;
- результаты инструментов во внешнем хранилище;
- сжатие истории при приближении к лимиту контекста.
Оценка. Сравнить варианты памяти на одном наборе длинных задач: доля выполненных, стоимость, время, число повторных действий (признак забытого прогресса).
Приватность. Память о пользователе подпадает под требования к персональным данным: цель хранения, срок, согласие, возможность посмотреть и удалить. Нельзя молча запоминать чувствительные данные (здоровье, финансы) без явной необходимости.
Что хотят услышать
- Внешняя рабочая память и сжатие контекста.
- Измерение влияния на качество и стоимость.
- Приватность: просмотр, удаление, срок хранения.
- Риск отравления памяти.
Проверьте себя
Один верный вариант. Подумайте, потом откройте ответ.
Показать варианты и ответ
- ✗Держать весь лог шагов в контексте — современные длинные окна это позволяют без потерь
- ✗Сохранять в память всё, что сказал пользователь, без его ведома — так ассистент полезнее
- ✓Внешняя память с планом и фактами, сжатие старых шагов, удаление по запросу
- ✗Держать весь лог шагов в контексте: современные окна вмещают сотни тысяч токенов, поэтому сжатие и внешнее хранилище только теряют детали
Связанные вопросы
Разбор собеседования с sotto
После собеседования sotto разбирает разговор: оценка, каждый вопрос — хорошо, частично или слабо, чего не хватило в ответе и над чем поработать к следующему разу. Первые 30 минут бесплатно.