Что записывать в трассу LLM-приложения и какие инструменты для этого есть?
- Что такое Langfuse?
- Как трассировать агента?
Трасса — дерево шагов одного запроса: вызовы модели (промпт, ответ, модель и её версия, параметры, токены, стоимость, задержка, время до первого токена), поиск (запрос, найденные фрагменты с оценками), инструменты (аргументы, результат, ошибка), версия промпта и конфигурации, пользователь и сессия. Инструменты: Langfuse, LangSmith, Phoenix, а также OpenTelemetry с семантическими соглашениями для генеративного ИИ — тогда трассы ложатся в общую систему наблюдаемости.
- По трассам строят дашборды: задержка p95, ошибки, стоимость по фиче и пользователю
- Обратная связь пользователя привязывается к трассе — так плохой ответ можно разобрать
- Персональные данные в трассах маскируют, доступ ограничивают
А ещё Хранить полные промпты дорого — для части трафика сохраняют выборку
Подробно
Структура трассы агента:
запрос пользователя
├─ классификация (модель, 120 токенов, 0,3 с)
├─ поиск (запрос, 8 фрагментов, 0,1 с)
├─ генерация (модель, 4200 → 350 токенов, 2,1 с)
│ └─ вызов инструмента order_status (аргументы, результат)
└─ ответ, оценка пользователяАлерты: доля ошибок провайдера, рост задержки, скачок стоимости на запрос, рост доли передач оператору или негативных оценок.
Что хотят услышать
- Что входит в трассу: модель, поиск, инструменты, версии, токены.
- Инструменты: Langfuse, LangSmith, OpenTelemetry.
- Дашборды и алерты.
- Связь с обратной связью и маскирование ПДн.
Проверьте себя
Один верный вариант. Подумайте, потом откройте ответ.
Показать варианты и ответ
- ✗Достаточно логировать итоговый ответ и время запроса
- ✗Трасса дублирует метрики CPU и памяти сервера модели
- ✗Хранить полные промпты с ПДн без ограничений — так проще отлаживать
- ✓Каждый шаг: вызовы модели, поиск, инструменты, версии и токены
Связанные вопросы
Разбор собеседования с sotto
После собеседования sotto разбирает разговор: оценка, каждый вопрос — хорошо, частично или слабо, чего не хватило в ответе и над чем поработать к следующему разу. Первые 30 минут бесплатно.