Как снизить стоимость и задержку приложения на LLM?

Из чего складывается. Стоимость — входные и выходные токены (выходные обычно дороже). Задержка — время до первого токена (растёт с длиной входа и загрузкой провайдера) плюс время генерации, пропорциональное длине ответа.

Как снижать:

• короче вход — убрать лишнее из промпта, сжимать историю, давать меньше, но точнее фрагменты RAG;
• короче выход — ограничить длину, просить формат без «воды»; длинный ответ — главный источник задержки;
• модель по задаче — простые запросы (классификация, извлечение) — маленькой быстрой моделью, сложные — большой; маршрутизация между ними;
• кэширование промпта — многие провайдеры кэшируют неизменное начало промпта (системный текст, документы), и повторные запросы дешевле и быстрее; поэтому неизменное ставят в начало;
• кэш ответов — на одинаковые или очень похожие запросы;
• стриминг — показывать ответ по мере генерации: пользователь видит результат почти сразу;
• параллельность — независимые запросы выполнять одновременно; можно запустить несколько моделей и взять первый хороший ответ;
• пакетная обработка — для фоновых задач дешевле, если не нужна мгновенность.

Ассистент в звонке: первые слова подсказки нужны за 1–2 секунды. Помогают короткий ответ в 3–5 строк, стриминг, быстрая модель для первого ответа, неизменный системный промпт в начале для кэширования и запуск запроса сразу по концу вопроса.