Как оценить стоимость запроса к модели в токенах?
- Сколько стоит запрос к LLM?
- Как посчитать токены текста?
Посчитать входные токены (системный промпт + история + документы + вопрос) и выходные (ответ) токенизатором той модели, которую используете, и умножить на цены провайдера — входные и выходные токены обычно стоят по-разному, выходные дороже. Месячная стоимость = стоимость запроса × число запросов. Реальный расход берут из поля usage в ответах API.
- Русский текст обычно занимает больше токенов, чем английский того же смысла
- История диалога оплачивается заново в каждом следующем запросе
- Кэшированный префикс у многих провайдеров дешевле обычного входа
А ещё Оценку на старте сверяют с фактическим расходом после запуска
Подробно
Пример. Системный промпт 800 токенов, документы 3000, вопрос 100, ответ 400. Цены (условные): 1 единица за тысячу входных, 4 — за тысячу выходных.
Вход: 3900 токенов → 3,9; выход: 400 → 1,6; итого 5,5 единицы на запрос. При 10 000 запросов в день — 55 000 в день.
Где снижать: короче промпт, меньше и точнее документы, ограничение длины ответа, кэширование префикса, модель дешевле для простых запросов.
Как считать токены: библиотека токенизатора модели (например, tiktoken для моделей OpenAI) или метод подсчёта в API провайдера.
Что хотят услышать
- Вход и выход считаются отдельно и по разной цене.
- Токенизатор конкретной модели.
- История оплачивается в каждом запросе.
- Сверка с usage.
Проверьте себя
Один верный вариант. Подумайте, потом откройте ответ.
Показать варианты и ответ
- ✓Токены входа и выхода токенизатором модели × их цены; факт — usage
- ✗Стоимость считают по числу символов ответа, вход бесплатный
- ✗Входные и выходные токены всегда стоят одинаково
- ✗История диалога оплачивается только один раз
Связанные вопросы
Разбор собеседования с sotto
После собеседования sotto разбирает разговор: оценка, каждый вопрос — хорошо, частично или слабо, чего не хватило в ответе и над чем поработать к следующему разу. Первые 30 минут бесплатно.