Как проверить свою LLM-систему на устойчивость к prompt injection?
- Что такое red teaming LLM?
- Как тестировать защиту от инъекций?
Собрать набор атакующих примеров под свои сценарии: прямые просьбы нарушить правила, ролевые игры, инструкции внутри документов, писем, веб-страниц и результатов инструментов (непрямые), попытки вытащить системный промпт и данные других пользователей, вызвать опасный инструмент. Прогонять набор автоматически при каждом изменении, оценивать успешность атаки по последствиям (утекли ли данные, вызвался ли инструмент), а не по тексту ответа. Найденные пробои закрывать архитектурно и добавлять в набор.
- Главное — что атака может сделать: прочитать чужое, отправить наружу, выполнить действие
- Генерация вариаций атак другой моделью расширяет покрытие
- Отдельно проверять каналы утечки: ссылки и картинки в ответе, письма, внешние запросы
А ещё Ноль пробоев на наборе не доказывает защищённость — ограничивать права всё равно нужно
Подробно
Категории атак:
- прямые: «игнорируй инструкции», ролевые сценарии, кодирование текста;
- непрямые: команда в документе базы знаний, в письме, на сайте;
- извлечение системного промпта и секретов;
- доступ к данным другого пользователя через инструменты;
- утечка через markdown-картинку с данными в адресе.
Оценка. Для каждого примера — ожидаемое безопасное поведение и автоматическая проверка: инструмент не вызван, в ответе нет секрета, нет внешних ссылок с данными.
Процесс. Набор живёт в репозитории, прогон в CI, новые публичные техники атак добавляются регулярно.
Что хотят услышать
- Набор прямых и непрямых атак под свои сценарии.
- Оценка по последствиям, автоматический прогон.
- Архитектурные исправления.
- Ограниченность тестирования.
Проверьте себя
Один верный вариант. Подумайте, потом откройте ответ.
Показать варианты и ответ
- ✗Проверить вручную пару фраз вроде «игнорируй инструкции» перед релизом
- ✓Свой набор прямых и непрямых атак, автопрогон при изменениях, закрытие пробоев
- ✗Если на наборе нет пробоев, ограничивать права инструментов не нужно
- ✗Достаточно проверять только ввод пользователя, документы и письма безопасны
Связанные вопросы
Разбор собеседования с sotto
После собеседования sotto разбирает разговор: оценка, каждый вопрос — хорошо, частично или слабо, чего не хватило в ответе и над чем поработать к следующему разу. Первые 30 минут бесплатно.