Как наблюдать за LLM-приложением в продакшене?
- Что логировать в приложении на LLM?
- Как отлаживать агента?
Трассировать каждый шаг: промпт и ответ, найденные документы, вызовы инструментов, модель и версию промпта, токены, стоимость, задержку (TTFT и общую). Плюс качество: пользовательская обратная связь, автоматические оценки на выборке трафика, отслеживание дрейфа запросов. Обычные метрики сервиса (ошибки, задержки) тоже нужны, но их мало.
- Без трассировки агент — чёрный ящик: неясно, на каком шаге он ошибся
- Стоимость считают по пользователю, фиче и модели — иначе бюджет неуправляем
- Персональные данные в логах промптов маскируют
А ещё Инструменты: Langfuse, LangSmith, Phoenix, OpenTelemetry с семантическими соглашениями для GenAI
Подробно
Что собирать:
- трассы — дерево шагов запроса: поиск, реранкинг, вызовы модели, инструменты, с входами и выходами;
- метрики — задержка (TTFT, полная), токены на входе и выходе, стоимость, доля ошибок и таймаутов провайдера, доля отказов модели;
- качество — лайки и дизлайки, повторные вопросы, ручная разметка выборки, автоматические оценки (LLM-as-judge) на сэмплах;
- версии — модель, промпт, параметры, конфигурация поиска: без этого регресс нельзя связать с изменением.
Цикл улучшения: проблемные трассы из продакшена → пополнение оценочного набора → изменение промпта или конвейера → прогон оценки → выкатка. Оценочный набор, собранный из реальных отказов, ценнее любого бенчмарка.
Безопасность и приватность: маскирование персональных данных, срок хранения, доступ к логам промптов только у нужных людей.
Что хотят услышать
- Что трассировать и какие метрики.
- Связь мониторинга с оценкой качества.
- Приватность логов.
Проверьте себя
Один верный вариант. Подумайте, потом откройте ответ.
Показать варианты и ответ
- ✓Трассировать шаги с токенами и стоимостью и следить за качеством
- ✗Достаточно стандартных метрик сервиса: доли ошибок, задержек и загрузки CPU
- ✗Логировать только итоговый ответ, который увидел пользователь, без шагов
- ✗Наблюдаемость нужна только во время разработки, в продакшене — нет
Разбор темы
- LLM в продакшене — стоимость, надёжность и наблюдаемость
Как сделать LLM-функцию быстрой, недорогой и надёжной — стриминг, повторы, кэш, guardrails, трассировка и борьба с галлюцинациями.
Связанные вопросы
Разбор собеседования с sotto
После собеседования sotto разбирает разговор: оценка, каждый вопрос — хорошо, частично или слабо, чего не хватило в ответе и над чем поработать к следующему разу. Первые 30 минут бесплатно.