Этап 14 из 18 · ≈ 16 ч

Системный дизайн LLM-приложений

Основа с Middle

Компоненты ассистента, поток запроса, масштабирование, отказоустойчивость и стоимость.

Типовая архитектура ассистента:

клиент → API (авторизация, лимиты) → оркестратор
         ├─ guardrails входа
         ├─ поиск: векторный + полнотекстовый → реранкер
         ├─ инструменты: CRM, заказы, база знаний
         ├─ шлюз к моделям: маршрутизация, повторы, учёт затрат
         └─ guardrails выхода → потоковый ответ
хранилища: диалоги, документы и фрагменты, трассы, оценки
фон: индексация, оценка качества, аналитика

Что важно знать

  • Требования сначала: объём, задержка, точность, данные и права, бюджет. От них зависит всё остальное.
  • Оценка нагрузки: запросов в секунду, токенов на запрос, стоимость в месяц, лимиты провайдера.
  • Шлюз к моделям — единая точка для ключей, лимитов, учёта затрат, резервных моделей и логирования.
  • Состояние: история диалогов, кэш, индексы — где хранится и как масштабируется.
  • Деградация: что видит пользователь, если модель, поиск или инструмент недоступны.
  • Наблюдаемость и оценка — часть архитектуры, а не надстройка.

Критерии освоения

Middle ≈ 16 ч

  • Рисует архитектуру RAG-ассистента от запроса до ответа с хранилищами и очередями
  • Оценивает задержку и стоимость одного запроса по компонентам
  • Предусматривает деградацию при недоступности провайдера модели

Практика. Описать архитектуру ассистента поддержки на 10 тысяч диалогов в день — компоненты, хранилища, поток запроса, оценка стоимости в месяц.

Senior ≈ 24 ч

  • Проводит секцию системного дизайна LLM-продукта с требованиями, оценками нагрузки и компромиссами
  • Проектирует общий шлюз к моделям для нескольких команд (лимиты, учёт затрат, маршрутизация)
  • Обосновывает выбор между внешним API и своими моделями по стоимости, рискам и данным

Практика. Провести и записать разбор системного дизайна «поиск по документам компании на 5 млн страниц с правами доступа» с расчётом нагрузки, стоимости и планом развития.

Проверка знаний

Войдите, чтобы пройти тест: сданный тест отмечает тему пройденной на карте и в ИПР.

Вопросы с собеседований

Смотреть все
Спроектируйте ассистента поддержки интернет-магазина на LLM.Senior

Начать с требований: какие вопросы закрывает бот (статус заказа, возврат, доставка), объём (например, 20 тысяч диалогов в день), допустимая задержка, доля передачи оператору, бюджет, где можно обрабатывать данные. Архитектура: API с авторизацией → оркестратор…

Полный разбор
Зачем компании единый шлюз к LLM и что в нём должно быть?Senior

Когда LLM используют несколько команд, каждая заново решает одни задачи: ключи, лимиты, повторы, учёт затрат, логирование, защиту данных. Шлюз — единая точка доступа к моделям: единый API (часто совместимый с OpenAI), маршрутизация между провайдерами и своими…

Полный разбор
Когда переходить с внешнего API моделей на собственные модели?Senior

Решение принимают по четырём осям: данные (можно ли отправлять наружу — 152-ФЗ, коммерческая тайна), стоимость при реальной нагрузке, качество на своих задачах и команда (кто будет эксплуатировать GPU-инфраструктуру). Свои модели выгодны при большом…

Полный разбор
Что делать, если провайдер LLM недоступен или деградировал?Middle

Заранее определить резервную модель (другой провайдер или своя), промпты для неё проверить на наборе оценки — без этого переключение даст непредсказуемое качество. Переключаться автоматически по признакам сбоя: доля ошибок, таймауты, рост задержки…

Полный разбор
Как снизить стоимость и задержку приложения на LLM?Middle

Платим и ждём за токены: меньше входа и выхода, модель по задаче, кэш, стриминг и параллельность.

Полный разбор
Как сделать надёжные вызовы API модели — повторы, таймауты, смена провайдера?Middle

429 (превышен лимит) и 5xx (сбой провайдера) повторяют с экспоненциальной паузой и случайным разбросом, учитывая заголовок Retry-After; ошибки 4xx запроса не повторяют. У каждого вызова — таймаут (на соединение и на общий ответ), у повторов — общий бюджет…

Полный разбор
Как реализовать потоковую выдачу ответа LLM пользователю?Middle

Модель генерирует ответ токен за токеном, и его можно показывать по мере генерации: воспринимаемая задержка падает с десятков секунд до времени первого токена. Провайдеры отдают поток через Server-Sent Events; бэкенд проксирует его клиенту (SSE или…

Полный разбор

← Вся карта «ИИ-инженер»

Партнёр платформы

Разбор собеседования с sotto

После собеседования sotto разбирает разговор: оценка, каждый вопрос — хорошо, частично или слабо, чего не хватило в ответе и над чем поработать к следующему разу. Первые 30 минут бесплатно.

Разбор собеседования