Этап 13 из 18 · ≈ 8 ч

Наблюдаемость

Основа с Middle

Трассировка вызовов, логирование промптов и ответов, метрики качества и затрат.

Что логировать

  • Каждый вызов модели: промпт (или его версия и переменные), ответ, модель, параметры, токены, задержка, стоимость.
  • Для RAG — найденные фрагменты и их оценки.
  • Для агентов — трассу: все шаги, вызовы инструментов, ошибки.
  • Обратную связь пользователя, привязанную к ответу.

Что важно знать

  • Инструменты: Langfuse (можно развернуть у себя), LangSmith, Phoenix, а также стандарт OpenTelemetry для LLM.
  • Метрики: задержка (p50, p95, время до первого токена), доля ошибок провайдера, стоимость на запрос и на пользователя, доля отказов модели.
  • Алерты на рост стоимости и ошибок провайдера.
  • Логи содержат персональные данные — маскирование и ограничение доступа.

Критерии освоения

Middle ≈ 8 ч

  • Трассирует каждый вызов модели, поиск и инструменты с версиями, токенами и стоимостью
  • Строит дашборд задержки, ошибок и стоимости и настраивает алерты

Практика. Подключить Langfuse или аналог к своему RAG-сервису и найти по трассам 3 причины плохих ответов.

Senior ≈ 4 ч

  • Проводит разбор падения качества по трассам и метрикам и доводит до исправления причин

Практика. Провести учебный разбор инцидента «качество упало» с поиском причины по трассам и письменным отчётом.

Проверка знаний

Войдите, чтобы пройти тест: сданный тест отмечает тему пройденной на карте и в ИПР.

Вопросы с собеседований

Смотреть все
Как наблюдать за LLM-приложением в продакшене?Middle

Трассировать каждый шаг: промпт и ответ, найденные документы, вызовы инструментов, модель и версию промпта, токены, стоимость, задержку (TTFT и общую). Плюс качество: пользовательская обратная связь, автоматические оценки на выборке трафика, отслеживание…

Полный разбор
Как работает Prometheus и какие типы метрик в нём есть?Middle

Prometheus сам опрашивает (pull) эндпоинты /metrics целей, найденных через service discovery, и хранит временные ряды. Типы: counter — только растёт (запросы, ошибки), смотрят скорость через rate(); gauge — текущее значение (память, длина очереди); histogram…

Полный разбор
Качество ответов ассистента внезапно упало. Как будете разбираться?Senior

Сначала подтвердить и измерить: метрики качества, жалобы, доля передачи оператору — по сценариям и с момента начала. Затем искать что изменилось: выкатки кода, промптов и конфигурации, версия модели у провайдера, данные в базе знаний и индекс, поведение…

Полный разбор
Что записывать в трассу LLM-приложения и какие инструменты для этого есть?Middle

Трасса — дерево шагов одного запроса: вызовы модели (промпт, ответ, модель и её версия, параметры, токены, стоимость, задержка, время до первого токена), поиск (запрос, найденные фрагменты с оценками), инструменты (аргументы, результат, ошибка), версия…

Полный разбор
Какие сигналы пользователей собирать для оценки LLM-продукта?Middle

Явные сигналы: оценка ответа (палец вверх или вниз), комментарий, жалоба — их мало и они смещены к крайним эмоциям. Неявные: пользователь скопировал или принял ответ, переспросил то же другими словами, сгенерировал заново, отредактировал черновик (насколько…

Полный разбор
Как снизить стоимость и задержку приложения на LLM?Middle

Платим и ждём за токены: меньше входа и выхода, модель по задаче, кэш, стриминг и параллельность.

Полный разбор

Разборы темы

Документация

← Вся карта «ИИ-инженер»

Партнёр платформы

Разбор собеседования с sotto

После собеседования sotto разбирает разговор: оценка, каждый вопрос — хорошо, частично или слабо, чего не хватило в ответе и над чем поработать к следующему разу. Первые 30 минут бесплатно.

Разбор собеседования