Что важно знать
- Таймауты и повторы с экспоненциальной паузой на 429 и 5xx; без повторов на ошибки валидации.
- Резервная модель или провайдер при недоступности основного.
- Деградация: если модель недоступна — понятное сообщение и передача оператору, а не зависший интерфейс.
- Фиксировать версии моделей: провайдер может обновить модель за псевдонимом, и поведение изменится.
- Выкатка нового промпта или модели — постепенно, с мониторингом метрик качества, как canary для кода.
- Долгие задачи (обработка документов) — через очередь, с идемпотентной обработкой.
- Квоты на пользователя — защита от злоупотреблений и счёта на миллион.