Как обнаруживать и обрабатывать выбросы в данных?
- Можно ли просто удалить выбросы?
Сначала понять природу выброса: ошибка данных (тестовый заказ, бот, сбой трекинга, неверные единицы) — исправить или исключить; реальное редкое значение (оптовый клиент) — часть распределения, удалять нельзя, но можно ограничить влияние: медиана, логарифм, винзоризация, отдельный сегмент.
- Обнаружение: правило 1,5·IQR, z-оценка, графики, бизнес-ограничения (возраст 250 лет)
- Правило обработки выбросов в A/B-тесте фиксируют до эксперимента
- Удалять «неудобные» точки после просмотра результатов — подгонка
А ещё Иногда выбросы и есть цель: антифрод, поиск аномалий
Подробно
Методы обнаружения:
- IQR: значения за пределами Q1 − 1,5·IQR и Q3 + 1,5·IQR;
- z-оценка: дальше 3 стандартных отклонений — для примерно нормальных данных;
- бизнес-правила: отрицательная цена, заказ в 1 000 000 рублей от нового пользователя, сессия длиной 30 часов;
- визуально: гистограмма, ящик с усами, временной ряд.
Обработка:
- ошибки — исправить в источнике или исключить с документированным правилом;
- реальные хвосты — устойчивые статистики (медиана), логарифм, винзоризация (заменить значения выше 99-го перцентиля самим перцентилем), анализ сегмента отдельно.
В экспериментах один оптовый заказ может сделать выручку в группе «значимо» выше. Поэтому заранее фиксируют порог винзоризации или используют устойчивые метрики.
Что хотят услышать
- Различение ошибки и реального значения.
- Методы обнаружения.
- Способы ограничить влияние и правило фиксировать заранее.
Проверьте себя
Один верный вариант. Подумайте, потом откройте ответ.
Показать варианты и ответ
- ✗Правило обработки выбросов в A/B-тесте выбирают после просмотра результатов — так видно, какие значения мешают
- ✗Любой выброс — это ошибка измерения, поэтому такие строки нужно сразу удалять из данных
- ✓Понять природу: ошибку убрать, реальное значение оставить, ограничив влияние
- ✗Выбросы не влияют на среднее, поэтому для средних метрик их можно не обрабатывать
Связанные вопросы
Разбор собеседования с sotto
После собеседования sotto разбирает разговор: оценка, каждый вопрос — хорошо, частично или слабо, чего не хватило в ответе и над чем поработать к следующему разу. Первые 30 минут бесплатно.