Этап 5 из 18 · ≈ 4 ч

Токены и контекстное окно

Основа с Junior

Как текст превращается в токены, что помещается в контекст и почему русский текст дороже.

Модель видит не буквы и не слова, а токены — части слов из словаря, построенного алгоритмом вроде BPE. Цена, скорость и лимиты считаются в токенах.

Что важно знать

  • Контекстное окно — сколько токенов модель обрабатывает за раз: системный промпт, история диалога, документы, ответ.
  • Русский текст в большинстве токенизаторов занимает больше токенов, чем английский того же смысла, — дороже и быстрее заполняет контекст.
  • Длинный контекст не бесплатен: дороже, медленнее, а информация в середине используется хуже («lost in the middle»).
  • Токенизация объясняет странности: модель плохо считает буквы в слове и путается в длинных числах.
  • Подсчёт токенов до отправки — библиотеки токенизаторов провайдеров.

Критерии освоения

Junior ≈ 4 ч

  • Считает токены текста токенизатором модели и оценивает стоимость запроса
  • Объясняет, почему русский текст обычно дороже английского

Практика. Посчитать токены и стоимость одного и того же текста на русском и английском для двух моделей.

Middle ≈ 4 ч

  • Планирует бюджет контекста — системный промпт, история, документы, ответ
  • Объясняет эффект «потери середины» длинного контекста и учитывает его в сборке промпта

Практика. Составить бюджет контекста ассистента на 50 сообщений истории и 10 документов, предложить, что сокращать при переполнении.

Проверка знаний

Войдите, чтобы пройти тест: сданный тест отмечает тему пройденной на карте и в ИПР.

Вопросы с собеседований

Смотреть все
Что такое токены и контекстное окно LLM?Junior

Токен — кусок текста (часть слова, слово, знак), с которым работает модель; контекстное окно — сколько токенов модель учитывает за раз: запрос плюс ответ.

Полный разбор
Как работает токенизация в LLM и что такое BPE?Middle

BPE (byte-pair encoding) строит словарь подслов: начинает с байтов или символов и многократно объединяет самую частую соседнюю пару в новый токен. Частые слова становятся одним токеном, редкие разбиваются на части. Модель видит номера токенов, а не буквы.

Полный разбор
Зачем RAG, если у моделей контекст на сотни тысяч токенов?Middle

Длинный контекст не заменяет поиск: стоимость и задержка растут с каждым токеном, качество падает на длинных входах (модель хуже использует информацию из середины — lost in the middle), а база знаний обычно больше любого окна и постоянно меняется. Положить…

Полный разбор
Как спланировать бюджет контекста и учесть эффект «потери середины»?Middle

Контекст делят между системным промптом, историей, найденными документами, результатами инструментов и резервом под ответ; у каждой части — свой лимит, а при переполнении заранее известно, что сокращать (старую историю — в резюме, документы — меньше и лучше…

Полный разбор
Как устроен запрос к чат-API модели — роли сообщений, причина остановки, расход токенов?Junior

Запрос — список сообщений с ролями: system (правила и роль модели), user (запросы), assistant (прошлые ответы модели). Модель не хранит диалог: приложение каждый раз отправляет историю целиком. Ответ содержит текст, причину остановки (закончила сама, упёрлась…

Полный разбор
Как устроена большая языковая модель (LLM)?Junior

LLM — нейросеть-трансформер, которая предсказывает следующий токен по предыдущим; текст получается, если повторять это шаг за шагом.

Полный разбор
Как оценить стоимость запроса к модели в токенах?Junior

Посчитать входные токены (системный промпт + история + документы + вопрос) и выходные (ответ) токенизатором той модели, которую используете, и умножить на цены провайдера — входные и выходные токены обычно стоят по-разному, выходные дороже. Месячная стоимость…

Полный разбор

Разборы темы

← Вся карта «ИИ-инженер»

Партнёр платформы

Разбор собеседования с sotto

После собеседования sotto разбирает разговор: оценка, каждый вопрос — хорошо, частично или слабо, чего не хватило в ответе и над чем поработать к следующему разу. Первые 30 минут бесплатно.

Разбор собеседования