Стоимость и задержка
Платим и ждём за токены. Задержка = время до первого токена + скорость генерации × длина ответа. Рычаги: короче вход и выход, модель по задаче (простые запросы — маленькой модели), кэш неизменного начала промпта и готовых ответов, параллельные вызовы. Любую оптимизацию проверяют на наборе — экономия не должна ронять качество.
Стриминг
Ответ можно показывать по мере генерации: API отдаёт фрагменты по Server-Sent Events, клиент дописывает их к тексту. Воспринимаемая задержка падает с десятков секунд до доли секунды. Прокси не должен буферизовать поток, а при уходе клиента запрос к модели прерывают — иначе платите за ненужные токены.
Надёжность вызовов
Ошибки 429 (лимит) и 5xx повторяют с экспоненциальной паузой и случайным разбросом, ошибки запроса (400) — нет. У каждого вызова — таймаут, у повторов — общий бюджет времени. Провайдер скрыт за тонкой абстракцией: модель меняется конфигурацией, есть резервная модель, проверенная на наборе оценки.
Guardrails
Один системный промпт — не защита. Guardrails — проверки на входе и выходе: модерация тем, маскирование персональных данных перед отправкой внешнему провайдеру, защита от инъекций, валидация схемы ответа, ссылки только на найденные источники. Дешёвые проверки ставят первыми, чтобы не удваивать задержку.
Галлюцинации
Полностью убрать их нельзя — можно снизить и измерять: RAG с источниками, инструкция отвечать только по контексту и говорить «не знаю», инструменты вместо «памяти» модели, проверка ответа. Продукт проектируют с учётом того, что модель иногда ошибается.
Наблюдаемость
Каждый запрос трассируют по шагам: промпт и ответ, найденные документы, вызовы инструментов, модель и версия промпта, токены, стоимость, задержка. Плюс сигналы качества — оценки пользователей, выборочная автооценка трафика. Без трасс агент — чёрный ящик, а бюджет неуправляем.
Итог
- Токены — это деньги и время, оптимизировать по замеру.
- Стриминг, повторы с паузой, резервная модель.
- Guardrails на входе и выходе.
- Трассы и метрики качества в продакшене.