Как измерять качество guardrails и не замедлить ими ответ?
- Что такое ложные блокировки guardrails?
Guardrail — это классификатор, и у него две ошибки: ложная блокировка (нормальный запрос отклонён — пользователь раздражён, функция бесполезна) и пропуск (опасный запрос прошёл). Измеряют на размеченном наборе из обычных и атакующих примеров: доля ложных блокировок и доля пропусков по категориям. Задержку снижают дешёвыми проверками первыми (правила, маленькие классификаторы), параллельным запуском с основным вызовом и проверкой выхода по ходу стриминга.
- Порог подбирают по цене ошибок: для медицины пропуск дороже, для чат-бота магазина — ложная блокировка
- Мониторинг в продакшене: доля срабатываний по дням, выборочный разбор
- Блокировка должна давать пользователю понятный ответ, а не ошибку
А ещё Guardrail на большой LLM на каждый запрос удваивает стоимость и задержку
Подробно
Набор для оценки:
- реальные нормальные запросы, включая пограничные (вопросы о лекарствах в аптеке — не запрещённая тема);
- атакующие и запрещённые примеры по категориям;
- разметка: должен ли сработать guardrail.
Метрики: доля ложных блокировок, доля пропусков, по каждой категории; задержка проверки (p50, p95).
Архитектура:
- регулярные выражения и списки — микросекунды;
- маленький классификатор — миллисекунды;
- LLM-проверка — только для неоднозначных случаев;
- параллельный запуск входной проверки и основного запроса с отменой ответа при срабатывании.
Что хотят услышать
- Две ошибки и их цена.
- Набор с нормальными и атакующими примерами.
- Каскад проверок и параллельный запуск.
- Мониторинг в продакшене.
Проверьте себя
Несколько верных вариантов. Подумайте, потом откройте ответ.
Показать варианты и ответ
- ✗Блокировать всё подозрительное: ложные блокировки ничего не стоят пользователю
- ✓Мерить ложные блокировки и пропуски на размеченном наборе
- ✗Прогонять каждый запрос через LLM-проверку до основного вызова, без дешёвых фильтров
- ✓Сначала дешёвые проверки, LLM-проверка — только для спорных
- ✓Проверять вход параллельно с основным вызовом модели
Связанные вопросы
Разбор собеседования с sotto
После собеседования sotto разбирает разговор: оценка, каждый вопрос — хорошо, частично или слабо, чего не хватило в ответе и над чем поработать к следующему разу. Первые 30 минут бесплатно.