Как безопасно перевести продукт на другую LLM?
- Провайдер выпустил новую модель — как обновиться без регресса?
Смена модели — изменение поведения всей системы. Порядок: прогнать набор оценки на новой модели с текущими промптами → адаптировать промпты (модели по-разному реагируют на формулировки, формат, инструменты) → сравнить качество, стоимость и задержку по сценариям → теневой режим или canary на доле трафика с онлайн-метриками → полное переключение с возможностью мгновенного отката конфигурацией.
- Фиксировать конкретную версию модели, а не псевдоним «latest»
- Сравнивать не только качество: токенизация и длина ответов меняют стоимость
- Проверить структурированный вывод, вызовы инструментов, отказы, тон
А ещё Хорошая архитектура: промпты и модель — конфигурация, переключение без выкатки кода
Подробно
Что ломается при смене модели:
- формат ответов и следование схеме;
- выбор инструментов и аргументы;
- длина и стиль ответов, частота отказов;
- чувствительность к порядку контекста;
- стоимость: другой токенизатор, другая длина ответа.
Процесс:
- Набор оценки и базовые метрики текущей модели.
- Прогон новой модели, разбор ухудшившихся примеров.
- Отдельная версия промптов под новую модель.
- Теневой прогон на реальном трафике без показа пользователю, сравнение судьёй.
- Canary 5–10% с онлайн-метриками, затем расширение.
- Старая конфигурация остаётся доступной для отката.
Что хотят услышать
- Оценка на наборе и адаптация промптов.
- Теневой режим и постепенная выкатка с откатом.
- Что именно ломается при смене модели.
Проверьте себя
Один верный вариант. Подумайте, потом откройте ответ.
Показать варианты и ответ
- ✗Поменять название модели в конфигурации — промпты переносятся без изменений
- ✓Оценка на наборе, адаптация промптов, теневой режим или canary, откат
- ✗Использовать псевдоним «latest», чтобы всегда автоматически получать лучшую версию
- ✗Достаточно сравнить модели по общему рейтингу бенчмарков
Связанные вопросы
Разбор собеседования с sotto
После собеседования sotto разбирает разговор: оценка, каждый вопрос — хорошо, частично или слабо, чего не хватило в ответе и над чем поработать к следующему разу. Первые 30 минут бесплатно.