Этап 14 из 18 · ≈ 8 ч

Диалоги и память

Основа с Middle

История разговора, сжатие контекста и долговременная память ассистента и агентов.

Модель не помнит прошлые запросы — «память» строит приложение.

видкак реализуют
история диалогапоследние сообщения целиком, старые — резюме
рабочая память агентазаметки и план во внешнем хранилище, а не в контексте
долговременная память пользователяизвлечённые факты с поиском по ним при новом диалоге

Что важно знать

  • Каждое сообщение истории оплачивается в каждом следующем запросе.
  • Резюме теряет детали — важные факты выносят отдельно.
  • Неверный факт в памяти портит все будущие ответы: нужны проверка, обновление и удаление.
  • Пользователь должен видеть и удалять то, что ассистент о нём помнит.

Критерии освоения

Middle ≈ 8 ч

  • Хранит историю диалога и укладывает её в контекст обрезкой или резюме
  • Реализует долговременную память пользователя (факты и предпочтения) с поиском по ней

Практика. Добавить ассистенту сжатие длинной истории в резюме и сравнить на наборе из 20 длинных диалогов качество ответов и расход токенов с полной историей.

Senior ≈ 6 ч

  • Проектирует память агента для длинных задач и оценивает её влияние на качество и стоимость
  • Учитывает приватность памяти — право пользователя посмотреть и удалить сохранённое

Практика. Спроектировать память для агента, работающего с задачей несколько часов, — что хранить, как извлекать, как проверять, что память не вредит.

Проверка знаний

Войдите, чтобы пройти тест: сданный тест отмечает тему пройденной на карте и в ИПР.

Вопросы с собеседований

Смотреть все
Как реализовать память диалога и долговременную память ассистента?Middle

Модель не помнит прошлых запросов — память строит приложение. Короткая — история диалога в контексте: последние сообщения целиком, старые — резюме. Долговременная — извлечённые из диалогов факты о пользователе (предпочтения, данные) в хранилище с поиском…

Полный разбор
Что такое токены и контекстное окно LLM?Junior

Токен — кусок текста (часть слова, слово, знак), с которым работает модель; контекстное окно — сколько токенов модель учитывает за раз: запрос плюс ответ.

Полный разбор
Как устроить память агента для длинных задач и что делать с приватностью сохранённого?Senior

В длинной задаче контекст растёт с каждым шагом, дорожает и ухудшает качество. Решение — внешняя рабочая память: план, найденные факты, принятые решения и прогресс записываются в хранилище (файл, база), а в контекст попадает сжатое текущее состояние; старые…

Полный разбор
Как кэшировать запросы к LLM — prompt caching и семантический кэш?Middle

Prompt caching (на стороне провайдера или сервера инференса) переиспользует обработку одинакового префикса промпта — системные инструкции, документы, историю: повторные запросы дешевле и быстрее до первого токена. Точный кэш ответов — по хешу запроса…

Полный разбор
Зачем RAG, если у моделей контекст на сотни тысяч токенов?Middle

Длинный контекст не заменяет поиск: стоимость и задержка растут с каждым токеном, качество падает на длинных входах (модель хуже использует информацию из середины — lost in the middle), а база знаний обычно больше любого окна и постоянно меняется. Положить…

Полный разбор

← Вся карта «ИИ-инженер»

Партнёр платформы

Разбор собеседования с sotto

После собеседования sotto разбирает разговор: оценка, каждый вопрос — хорошо, частично или слабо, чего не хватило в ответе и над чем поработать к следующему разу. Первые 30 минут бесплатно.

Разбор собеседования