Этап 7 из 18 · ≈ 6 ч

Промпты в продакшене

Основа с Middle

Шаблоны, версии, кэширование префикса и проверка изменений на наборе примеров.

Что важно знать

  • Промпты — в репозитории рядом с кодом или в системе управления промптами, с историей изменений и ревью.
  • Шаблоны с явными переменными; пользовательские данные всегда подставляются в отведённое место и экранируются разметкой.
  • Каждое изменение промпта прогоняют на наборе для оценки — исправив один случай, легко сломать десять других.
  • Смена модели — тоже изменение: промпт, отлаженный под одну модель, может хуже работать на другой.
  • Кэширование префикса: неизменную часть (инструкции, документы) ставят в начало — провайдеры удешевляют повторно отправляемый префикс в разы.
  • Логировать версию промпта и модели вместе с каждым ответом — иначе разбор жалоб невозможен.

Критерии освоения

Middle ≈ 6 ч

  • Хранит промпты в репозитории с версиями и подстановкой переменных
  • Прогоняет набор оценки при каждом изменении промпта или модели
  • Располагает неизменную часть промпта в начале для кэширования префикса

Практика. Перенести промпты сервиса в версионируемые шаблоны, добавить прогон набора оценки в CI и логирование версии промпта в каждом ответе.

Senior ≈ 4 ч

  • Выстраивает процесс изменения промптов в команде — ревью, оценка, постепенная выкатка, откат

Практика. Описать и внедрить в команде регламент изменения промптов с порогами качества и откатом конфигурацией.

Проверка знаний

Войдите, чтобы пройти тест: сданный тест отмечает тему пройденной на карте и в ИПР.

Вопросы с собеседований

Смотреть все
Как кэшировать запросы к LLM — prompt caching и семантический кэш?Middle

Prompt caching (на стороне провайдера или сервера инференса) переиспользует обработку одинакового префикса промпта — системные инструкции, документы, историю: повторные запросы дешевле и быстрее до первого токена. Точный кэш ответов — по хешу запроса…

Полный разбор
Как оценивать качество ответов LLM?Middle

Собрать набор тестовых примеров с ожидаемым результатом, выбрать метрики под задачу и прогонять его при каждом изменении промпта, модели или поиска.

Полный разбор
Как управлять промптами в продакшене — хранение, версии, изменения в команде?Middle

Промпт — код: хранится в репозитории как шаблон с переменными, проходит ревью, имеет версию, которая пишется в трассу каждого вызова. Изменение промпта или модели — прогон набора оценки в CI с порогами; выкатка — постепенно (на долю трафика или по флагу) с…

Полный разбор
Как писать хорошие промпты?Junior

Хороший промпт — конкретная задача, контекст, ограничения и формат ответа, плюс примеры, если формат сложный.

Полный разбор

← Вся карта «ИИ-инженер»

Партнёр платформы

Разбор собеседования с sotto

После собеседования sotto разбирает разговор: оценка, каждый вопрос — хорошо, частично или слабо, чего не хватило в ответе и над чем поработать к следующему разу. Первые 30 минут бесплатно.

Разбор собеседования