Спроектируйте ассистента поддержки интернет-магазина на LLM.
- Как бы вы спроектировали чат-бота на LLM для поддержки клиентов?
- Системный дизайн RAG-ассистента
Начать с требований: какие вопросы закрывает бот (статус заказа, возврат, доставка), объём (например, 20 тысяч диалогов в день), допустимая задержка, доля передачи оператору, бюджет, где можно обрабатывать данные. Архитектура: API с авторизацией → оркестратор → маршрутизация по типу вопроса → RAG по базе знаний и инструменты (заказы, доставка, возвраты с подтверждением) → guardrails → потоковый ответ; передача оператору с резюме диалога. Вокруг — оценка качества, трассировка, учёт стоимости.
- Простые частые вопросы — дешёвая модель или шаблоны, сложные — сильная модель
- Действия с деньгами — только через инструменты с проверкой прав и подтверждением
- Метрики: доля решённых без оператора, CSAT, стоимость на обращение, доля ошибок
А ещё Запуск поэтапно: подсказки оператору → ответы на часть тем → расширение по метрикам
Подробно
Оценка нагрузки (пример): 20 тысяч диалогов в день, 6 сообщений в диалоге, пик в 3 раза выше среднего → около 4 запросов к модели в секунду в пик. При 3 тысячах входных и 300 выходных токенов на запрос — около 400 млн токенов в месяц: это определяет выбор модели и лимиты провайдера.
Компоненты:
| компонент | решение |
|---|---|
| вход | авторизация клиента, лимиты, guardrails (персональные данные, токсичность, инъекции) |
| маршрутизация | классификатор темы: справка, заказ, жалоба, оператор |
| знания | RAG: гибридный поиск по базе знаний и правилам, реранкер, ссылки |
| действия | инструменты к API заказов и доставки с правами текущего клиента |
| модели | шлюз: основная и резервная модель, кэш префикса, учёт затрат |
| выход | проверка ответа, запрет обещаний вне правил, потоковая выдача |
| оператор | передача с резюме диалога и найденными данными |
| данные | диалоги, трассы, оценки, логи — с маскированием персональных данных |
Качество: набор из реальных обращений по темам, автоматическая оценка при каждом изменении, ежедневный разбор выборки диалогов, онлайн-метрики и A/B-тест при запуске.
Отказоустойчивость: таймауты и резервная модель; при недоступности модели — сразу оператор; инструменты с идемпотентными операциями.
Риски: обещания вне правил (компенсации), утечки чужих заказов, инъекции через текст обращения, галлюцинации в правилах возврата.
Что хотят услышать
- Требования и оценка нагрузки до архитектуры.
- RAG и инструменты с правами пользователя, передача оператору.
- Оценка качества, наблюдаемость, стоимость, поэтапный запуск.
Проверьте себя
Один верный вариант. Подумайте, потом откройте ответ.
Показать варианты и ответ
- ✗Сразу выбрать самую мощную модель и подключить к ней всю базу знаний в контексте
- ✗Начать с промпта, а требования к ассистенту уточнить уже после запуска
- ✗Дать модели прямой доступ к базе заказов на запись без проверок
- ✓Требования → оркестратор с RAG и инструментами → guardrails → оператор; оценка
Связанные вопросы
Разбор собеседования с sotto
После собеседования sotto разбирает разговор: оценка, каждый вопрос — хорошо, частично или слабо, чего не хватило в ответе и над чем поработать к следующему разу. Первые 30 минут бесплатно.