Что такое токены и контекстное окно LLM?
- Почему модель «забывает» начало длинного разговора?
- Как считается стоимость запроса к LLM?
- Почему русский текст дороже английского?
Токен — кусок текста (часть слова, слово, знак), с которым работает модель; контекстное окно — сколько токенов модель учитывает за раз: запрос плюс ответ.
- Цена и скорость считаются в токенах, входные и выходные — обычно по разной цене
- Не влезло в окно — модель этого не видит; в длинном контексте середина учитывается хуже
А ещё Русский текст часто занимает больше токенов, чем английский того же смысла
Подробно
Токенизация. Текст разбивается на токены алгоритмом вроде BPE: частые слова становятся одним токеном, редкие делятся на части. Для английского в среднем около трёх-четырёх символов на токен; для русского и многих других языков токенизаторы часто дают больше токенов на то же содержание — значит, дороже и меньше помещается в окно. Точное соотношение зависит от модели.
Контекстное окно — максимальная длина последовательности: системный промпт, история диалога, добавленные документы и сгенерированный ответ вместе. Если текст длиннее, что-то приходится отрезать или сжимать — модель не видит того, что не попало в окно. Поэтому в длинном чате «забываются» ранние сообщения: их обрезает приложение.
Даже при большом окне есть нюансы:
- стоимость и задержка растут с числом токенов;
- «потеря в середине» — информацию в середине длинного контекста модели учитывают хуже, чем в начале и конце;
- ограничение на ответ — максимум выходных токенов задаётся отдельно.
Практика: держать в контексте только нужное, сжимать историю, подбирать релевантные куски документов через поиск (RAG), а не отдавать всё подряд.
Что хотят услышать
- Что такое токен и почему это не слово.
- Окно включает и вход, и выход.
- Связь токенов со стоимостью и задержкой.
- Как жить с ограничением: обрезка, сжатие, RAG.
Частые ошибки
- Считать, что токен — это слово.
- Не учитывать ответ модели в размере контекста.
Проверьте себя
Один верный вариант. Подумайте, потом откройте ответ.
Показать варианты и ответ
- ✗Контекстное окно ограничивает только длину ответа
- ✗Токен — всегда одно целое слово
- ✗Входные и выходные токены всегда стоят одинаково
- ✓Сколько токенов модель учитывает за раз, вместе с ответом
Что спросят дальше
Разбор темы
- Как устроена языковая модель — токены, контекст и генерация
Что на самом деле делает LLM, почему она ошибается, как считаются токены и стоимость и как выглядит запрос к API модели.
Связанные вопросы
Разбор собеседования с sotto
После собеседования sotto разбирает разговор: оценка, каждый вопрос — хорошо, частично или слабо, чего не хватило в ответе и над чем поработать к следующему разу. Первые 30 минут бесплатно.