Как управлять промптами в продакшене — хранение, версии, изменения в команде?
- Где хранить промпты?
- Как безопасно менять промпт?
Промпт — код: хранится в репозитории как шаблон с переменными, проходит ревью, имеет версию, которая пишется в трассу каждого вызова. Изменение промпта или модели — прогон набора оценки в CI с порогами; выкатка — постепенно (на долю трафика или по флагу) с возможностью отката. Неизменную часть промпта ставят в начало — это позволяет кэшировать префикс.
- Шаблоны с явными переменными, а не склейка строк по коду
- Промпт и параметры модели (температура, лимит токенов) версионируются вместе
- Системы управления промптами удобны для не-разработчиков, но изменения всё равно проходят оценку
А ещё Без версии в трассе нельзя понять, после какой правки ответы стали хуже
Подробно
Структура:
prompts/
support/answer.v12.jinja
support/answer.yaml # модель, температура, лимиты, версия
eval/
support/cases.jsonlПроцесс изменения:
- Правка промпта в ветке.
- Прогон набора, сравнение метрик по сценариям с текущей версией.
- Ревью: что изменилось и почему, примеры ответов.
- Выкатка на долю трафика, наблюдение за онлайн-метриками.
- Полная выкатка или откат конфигурацией.
Кэширование. Инструкции и описания инструментов — в начале, пользовательские данные и вопрос — в конце.
Что хотят услышать
- Репозиторий, шаблоны, версии, ревью.
- Оценка в CI при изменении.
- Постепенная выкатка и откат.
- Версия в трассе, кэшируемый префикс.
Проверьте себя
Один верный вариант. Подумайте, потом откройте ответ.
Показать варианты и ответ
- ✗Править промпт прямо в продакшене — так быстрее
- ✗Версию промпта логировать не нужно: её легко восстановить по датам коммитов
- ✓В репозитории с ревью, прогон оценки, выкатка с откатом, версия в трассе
- ✗Хранить промпты в базе и править через админку без ревью — так команда меняет их быстрее
Связанные вопросы
Разбор собеседования с sotto
После собеседования sotto разбирает разговор: оценка, каждый вопрос — хорошо, частично или слабо, чего не хватило в ответе и над чем поработать к следующему разу. Первые 30 минут бесплатно.