На каждом шаге модель выдаёт распределение вероятностей следующего токена, из него выбирается один, добавляется к тексту — и всё повторяется.
Что важно знать
- Temperature «сплющивает» или «заостряет» распределение: 0 — почти всегда самый вероятный токен (извлечение данных, классификация), выше — разнообразнее (тексты, идеи).
- Top-p — выбирать только из токенов, покрывающих заданную долю вероятности.
- Даже при temperature 0 ответы могут немного различаться — из-за особенностей вычислений на GPU и пакетной обработки.
- KV-кэш хранит промежуточные результаты для уже обработанных токенов — поэтому первый токен приходит медленнее остальных, а длинный контекст занимает много памяти.
- Метрики скорости: время до первого токена (TTFT) и токенов в секунду.
- Модели рассуждений (reasoning) сначала генерируют скрытые «размышления» — дольше и дороже, но лучше на сложных задачах.