Что такое дрейф данных и концепта и как его отслеживать?
- Почему качество модели падает со временем?
- Что такое data drift и concept drift?
Data drift — меняется распределение входных признаков (пришли новые пользователи, изменился продукт). Concept drift — меняется сама зависимость «признаки → ответ» (мошенники сменили схему, после изменения цен поменялось поведение). Оба снижают качество; concept drift опаснее, потому что входные данные могут выглядеть как раньше.
- Если метки приходят быстро — следят за метрикой качества напрямую
- Если метки запаздывают — за распределениями признаков и прогнозов (PSI, тест Колмогорова-Смирнова)
- Реакция: расследование, переобучение на свежих данных, иногда пересмотр признаков
А ещё Сломанный конвейер данных (null вместо значений) выглядит как дрейф — сначала проверяют данные
Подробно
Что отслеживать:
- качество — когда известны правильные ответы (доставлен ли заказ вовремя, вернул ли клиент кредит), иногда с задержкой в недели;
- распределения признаков — сравнение текущего окна с обучающими данными: PSI (population stability index), KS-тест, доля пропусков и новых категорий;
- распределение прогнозов — резкое смещение доли положительных прогнозов — ранний сигнал;
- бизнес-метрики — конверсия, доля одобрений, потери.
Причины падения качества:
- реальный дрейф: сезонность, новые сегменты, изменение продукта и рынка;
- поломка данных: изменился формат в источнике, упал конвейер, поменялись единицы измерения;
- обратная связь: модель сама влияет на данные, на которых потом обучается (рекомендации, антифрод).
Реакция: алерты по порогам, расследование причин, переобучение по расписанию или по сигналу, оценка новой модели против текущей перед заменой.
Что хотят услышать
- Различие data drift и concept drift.
- Что мониторить при быстрых и запаздывающих метках.
- Поломки данных и обратная связь.
Проверьте себя
Один верный вариант. Подумайте, потом откройте ответ.
Показать варианты и ответ
- ✗Data drift — меняется зависимость признаков и ответа, concept drift — распределение входов
- ✗Дрейф можно отследить только по метрике качества
- ✓Data drift — входы, concept drift — зависимость; без меток следят за PSI
- ✗Concept drift безопаснее, потому что входные данные заметно меняются
Связанные вопросы
Разбор собеседования с sotto
После собеседования sotto разбирает разговор: оценка, каждый вопрос — хорошо, частично или слабо, чего не хватило в ответе и над чем поработать к следующему разу. Первые 30 минут бесплатно.