Как LLM генерирует текст и что такое KV-кэш?
- Почему первый токен ответа появляется дольше остальных?
- Что такое prefill и decode?
Генерация авторегрессивна: токен за токеном, каждый новый зависит от всех предыдущих. Prefill — параллельная обработка всего промпта (определяет время до первого токена, TTFT). Decode — по одному токену за шаг (определяет скорость печати). KV-кэш хранит ключи и значения внимания уже обработанных токенов, чтобы не пересчитывать их на каждом шаге.
- Без кэша каждый шаг пересчитывал бы весь контекст — квадратичная работа
- Кэш занимает много памяти GPU и растёт с длиной контекста и числом параллельных запросов
- Decode упирается в пропускную способность памяти, а не в вычисления
А ещё Серверы инференса (vLLM, TGI) используют paged attention и continuous batching
Подробно
Два режима:
- prefill — все токены промпта проходят через модель за один параллельный проход; длинный промпт → дольше ждать первый токен;
- decode — модель выдаёт один токен, добавляет его в контекст, повторяет. Здесь каждый шаг читает из памяти все веса модели ради одного токена — узкое место в пропускной способности памяти.
KV-кэш. Для внимания каждому новому токену нужны K и V всех предыдущих. Их сохраняют после первого вычисления и на следующем шаге считают только для нового токена. Объём кэша = слои × головы × размерность × длина контекста × батч — гигабайты на длинных контекстах.
Оптимизации в продакшене:
- continuous batching — новые запросы встраиваются в батч на лету, GPU не простаивает;
- paged attention (vLLM) — кэш хранится страницами, без фрагментации памяти;
- prefix caching / prompt caching — общий префикс (системный промпт) обрабатывается один раз;
- speculative decoding — маленькая модель предлагает несколько токенов, большая проверяет их за один шаг;
- квантизация весов и кэша.
Метрики: TTFT (время до первого токена) и токенов в секунду на генерации — это разные характеристики, и оптимизируются они разными средствами.
Что хотят услышать
- Авторегрессивная генерация, prefill и decode.
- Что хранит KV-кэш и почему он ускоряет.
- Цена кэша и оптимизации серверов инференса.
Проверьте себя
Один верный вариант. Подумайте, потом откройте ответ.
Показать варианты и ответ
- ✓Хранит ключи и значения внимания прошлых токенов, чтобы их не пересчитывать
- ✗KV-кэш хранит готовые ответы на повторяющиеся запросы
- ✗Prefill генерирует ответ по одному токену, decode обрабатывает промпт
- ✗KV-кэш не зависит от длины контекста и почти не занимает памяти
Связанные вопросы
Разбор собеседования с sotto
После собеседования sotto разбирает разговор: оценка, каждый вопрос — хорошо, частично или слабо, чего не хватило в ответе и над чем поработать к следующему разу. Первые 30 минут бесплатно.