Наблюдаемость, стоимость и задержка, кэширование, надёжность и развёртывание.
Прототип на LLM делается за день. Продакшен-система требует того же, что любой сервис, — мониторинга, надёжности, контроля затрат — плюс специфики: недетерминированные ответы, оплата за токены, зависимость от внешнего провайдера и его лимитов.
Этот этап — то, что отличает ИИ-инженера от человека, который «умеет писать промпты»: система работает под нагрузкой, укладывается в бюджет и её поведение видно и объяснимо.
Трассировка вызовов, логирование промптов и ответов, метрики качества и затрат.
Как сделать LLM-систему дешевле и быстрее — модели, кэш, пакетная обработка, промпты.
Повторы, резервные модели, лимиты, версии и выкатка изменений.
Трассировать каждый шаг: промпт и ответ, найденные документы, вызовы инструментов, модель и версию промпта, токены, стоимость, задержку (TTFT и общую). Плюс качество: пользовательская обратная связь, автоматические оценки на выборке трафика, отслеживание…
Полный разборПлатим и ждём за токены: меньше входа и выхода, модель по задаче, кэш, стриминг и параллельность.
Полный разборПосле собеседования sotto разбирает разговор: оценка, каждый вопрос — хорошо, частично или слабо, чего не хватило в ответе и над чем поработать к следующему разу. Первые 30 минут бесплатно.