Prompt injection, guardrails, галлюцинации и защита данных — что может пойти не так и как защититься.
LLM-приложение получает новые классы уязвимостей: модель выполняет инструкции из любого текста, который видит, уверенно выдумывает факты и может раскрыть то, что ей показали. Чем больше у системы инструментов и доступа к данным, тем выше цена ошибки.
Принцип: модель — недоверенный компонент. Её вывод проверяют, её права ограничивают, опасные действия подтверждает человек.
Как чужой текст перехватывает управление моделью и как ограничить ущерб.
Проверки входа и выхода — темы, токсичность, персональные данные, формат.
Почему модель уверенно выдумывает и как снизить и обнаружить выдумки.
Персональные данные, 152-ФЗ, коммерческая тайна и куда можно отправлять данные.
Промпт-инъекция — когда текст из ввода или данных заставляет модель нарушить инструкции: раскрыть промпт, выполнить чужую команду, вызвать инструмент.
Полный разборGuardrails — проверки на входе и выходе модели вокруг вызова LLM: фильтрация запрещённых тем и токсичности, обнаружение и маскирование персональных данных, защита от prompt injection, проверка формата и схемы ответа, проверка опоры ответа на источники…
Полный разборГаллюцинация — правдоподобный, но неверный ответ: модель генерирует вероятный текст, а не сверяется с фактами.
Полный разборПосле собеседования sotto разбирает разговор: оценка, каждый вопрос — хорошо, частично или слабо, чего не хватило в ответе и над чем поработать к следующему разу. Первые 30 минут бесплатно.