Что делать, если провайдер LLM недоступен или деградировал?
- Как настроить резервную модель?
- Как продукт на LLM должен деградировать?
Заранее определить резервную модель (другой провайдер или своя), промпты для неё проверить на наборе оценки — без этого переключение даст непредсказуемое качество. Переключаться автоматически по признакам сбоя: доля ошибок, таймауты, рост задержки (автоматический выключатель, circuit breaker). Если резерва нет или он тоже недоступен — понятная деградация: ответ из кэша, поиск без генерации, передача оператору, честное сообщение, а не зависший интерфейс.
- Резерв проверяют регулярно, иначе в момент сбоя он окажется сломанным
- Квоты резервного провайдера должны выдерживать весь трафик
- Пользователь не должен ждать минуту, пока исчерпаются все повторы
А ещё Деградация качества (тихо стал хуже ответ) — тоже сбой; его ловит мониторинг качества
Подробно
Уровни защиты:
- Повторы с паузой для единичных ошибок.
- Автоматический выключатель: при доле ошибок выше порога запросы сразу идут к резерву, первичный проверяется пробными запросами.
- Резервная модель с адаптированными промптами.
- Деградированный режим без генерации.
Важно:
- промпты под резервную модель лежат рядом с основными и тоже проходят оценку;
- в трассах отмечается, какая модель ответила;
- учения: периодически переключать часть трафика на резерв.
Что хотят услышать
- Резервная модель, проверенная на наборе.
- Автоматическое переключение по метрикам сбоя.
- Понятная деградация без генерации.
- Регулярная проверка резерва.
Проверьте себя
Один верный вариант. Подумайте, потом откройте ответ.
Показать варианты и ответ
- ✗Повторять запросы к основному провайдеру, пока он не ответит
- ✓Проверенная заранее резервная модель, автопереключение, иначе — деградация
- ✗Резервную модель достаточно указать в конфигурации, проверять её заранее не нужно
- ✗Показывать пользователю ошибку сервера, пока провайдер не восстановится
Связанные вопросы
Разбор собеседования с sotto
После собеседования sotto разбирает разговор: оценка, каждый вопрос — хорошо, частично или слабо, чего не хватило в ответе и над чем поработать к следующему разу. Первые 30 минут бесплатно.