Почему хорошая офлайн-метрика модели не гарантирует успех в продакшене и как проверить модель онлайн?
- Как сравнить новую модель со старой на реальных пользователях?
Офлайн-метрика (ROC-AUC, RMSE) считается на исторических данных и не равна бизнес-цели: модель меняет поведение пользователей, данные могли устареть, есть утечки и training-serving skew. Окончательное решение — онлайн-эксперимент: A/B-тест по бизнес-метрике (выручка, конверсия, удержание) с заранее заданными метриками-ограничителями.
- Перед A/B — теневой режим: проверить, что модель работает технически и прогнозы разумны
- Офлайн-метрики полезны для отбора кандидатов, а не для финального решения
- Метрики-ограничители: задержка, жалобы, доля отказов, доход
А ещё Для рекомендаций и ранжирования применяют interleaving — чувствительнее A/B
Подробно
Почему офлайн и онлайн расходятся:
- офлайн-метрика измеряет качество прогноза, а бизнесу важно решение и его последствия;
- модель влияет на данные: рекомендации меняют то, что пользователь видит и покупает;
- различия в признаках между обучением и сервисом;
- смещение исторических данных: старая модель уже отфильтровала часть случаев (например, не выданные кредиты не имеют меток).
Порядок проверки:
- Офлайн-отбор кандидатов на отложенной выборке и срезах.
- Теневой режим: прогнозы считаются и логируются, но не используются.
- Канарейка на малой доле трафика — техническая устойчивость.
- A/B-тест: случайное разбиение пользователей, основная метрика, ограничители, заранее рассчитанный размер выборки и длительность.
Статистика A/B-тестов (размер выборки, мощность, подглядывание, множественные сравнения) — общая с продуктовой аналитикой.
Что хотят услышать
- Причины расхождения офлайн- и онлайн-результатов.
- Последовательность проверки модели.
- Роль A/B-теста и метрик-ограничителей.
Проверьте себя
Один верный вариант. Подумайте, потом откройте ответ.
Показать варианты и ответ
- ✗Перепроверить офлайн-метрику на свежей отложенной выборке за последний месяц: если она держится, онлайн-проверка не нужна
- ✓Проверить A/B-тестом по бизнес-метрике с ограничителями
- ✗Выкатить модель на всех пользователей и сравнить выручку с прошлым месяцем
- ✗Пересчитать офлайн-метрику на кросс-валидации — она и покажет поведение в продакшене
Связанные вопросы
Разбор собеседования с sotto
После собеседования sotto разбирает разговор: оценка, каждый вопрос — хорошо, частично или слабо, чего не хватило в ответе и над чем поработать к следующему разу. Первые 30 минут бесплатно.