Guardrails — проверки вокруг вызова модели.
| где | что проверяют |
|---|---|
| вход | тема запроса, токсичность, попытки инъекций, персональные данные |
| выход | формат, утечка данных и системного промпта, запрещённые темы, ссылки на несуществующие источники |
| действия | права пользователя, лимиты, подтверждение |
Что важно знать
- Дешёвые проверки — правилами и регулярными выражениями, сложные — классификатором или маленькой моделью.
- Каждая проверка добавляет задержку — часть делают параллельно с основным вызовом.
- Слишком строгие фильтры раздражают пользователей ложными отказами — их качество тоже измеряют.
- Маскирование персональных данных перед отправкой во внешнюю модель.