Что такое guardrails в LLM-приложении и как их строить?
- Как не дать LLM-ассистенту сказать лишнее?
- Как защитить персональные данные в запросах к LLM?
Guardrails — проверки на входе и выходе модели вокруг вызова LLM: фильтрация запрещённых тем и токсичности, обнаружение и маскирование персональных данных, защита от prompt injection, проверка формата и схемы ответа, проверка опоры ответа на источники, ограничение действий агента. Один системный промпт — не защита.
- Вход: модерация, классификатор темы, маскирование ПДн перед отправкой внешнему провайдеру
- Выход: валидация схемы, запрещённые утверждения, ссылки только на найденные источники
- Действия: белые списки инструментов, подтверждение человеком
А ещё Каждая проверка добавляет задержку и ложные срабатывания — их тоже измеряют
Подробно
Слои защиты:
- Вход: модерационная модель или классификатор (оскорбления, запрещённые темы, попытки jailbreak), детектор ПДн (имена, телефоны, номера карт) с маскированием, ограничение длины.
- Контекст: только документы, на которые у пользователя есть права; пометка недоверенного содержимого.
- Выход: валидация JSON по схеме (structured output), проверка на утечку системного промпта и ПДн, проверка фактов по источникам для критичных доменов, отказ от ответа вне компетенции.
- Действия агента: минимальные права, подтверждение для необратимых операций, лимиты.
Персональные данные особенно важны для российских компаний: 152-ФЗ и требования к трансграничной передаче. Варианты — маскирование перед отправкой, модели, развёрнутые в своём контуре, договоры с провайдерами.
Компромисс: избыточные фильтры раздражают пользователей и ломают легитимные сценарии. Ложные срабатывания и пропуски измеряют на наборе примеров, как любую другую модель.
Что хотят услышать
- Проверки на входе, выходе и для действий.
- Защита персональных данных.
- Цена guardrails и необходимость их измерять.
Проверьте себя
Один верный вариант. Подумайте, потом откройте ответ.
Показать варианты и ответ
- ✗Достаточно написать правила в системном промпте
- ✗Guardrails — это дообучение модели на запрещённых темах
- ✓Проверки входа и выхода: модерация, ПДн, инъекции, схема, действия
- ✗Проверяют только вход: выход модели всегда безопасен
Разбор темы
- LLM в продакшене — стоимость, надёжность и наблюдаемость
Как сделать LLM-функцию быстрой, недорогой и надёжной — стриминг, повторы, кэш, guardrails, трассировка и борьба с галлюцинациями.
Связанные вопросы
Разбор собеседования с sotto
После собеседования sotto разбирает разговор: оценка, каждый вопрос — хорошо, частично или слабо, чего не хватило в ответе и над чем поработать к следующему разу. Первые 30 минут бесплатно.