Как вы проводите разведочный анализ данных (EDA)?
- С чего начать работу с новым датасетом?
Цель EDA — понять данные до модели: структура (строки, столбцы, типы, единицы, что такое одна строка), качество (пропуски, дубли, выбросы, ошибки ввода), распределения признаков и целевой переменной, связи между признаками и с целевой, время (тренды, сезонность, сдвиги), подозрения на утечку. Итог — список гипотез и решений по очистке и признакам, а не сотня графиков.
- Сначала понять, как данные собирались и что означает каждая колонка
- Баланс классов и распределение целевой — определяют метрику и валидацию
- Слишком сильная связь признака с целевой — проверить на утечку
А ещё Хорошая практика — записывать находки и решения, чтобы их можно было повторить
Подробно
Шаги:
- Обзор:
df.info(),df.describe(), примеры строк, уникальные значения категорий. - Качество: доля пропусков по колонкам и их причина, дубли, невозможные значения (возраст 200, отрицательная цена).
- Одномерный анализ: гистограммы, логарифмическая шкала для длинных хвостов.
- Связи: корреляции, графики признак — целевая, группировки.
- Время: динамика, сезонность, изменения в сборе данных.
- Выводы: что чистить, какие признаки строить, какая валидация.
Ловушки: признаки, известные только после события; смена логики сбора данных в середине периода; выводы по малым группам.
Что хотят услышать
- Системный порядок от структуры к связям.
- Качество данных и понимание их происхождения.
- Выводы для моделирования, включая утечки.
Проверьте себя
Один верный вариант. Подумайте, потом откройте ответ.
Показать варианты и ответ
- ✗Построить как можно больше графиков по всем парам признаков
- ✓Структура, качество, распределения, связи, утечки — и гипотезы
- ✗Сразу обучить модель и смотреть на важность признаков
- ✗Сразу обучить модель на всех признаках и по важности понять данные, удалив строки с пропусками и выбросами
Связанные вопросы
Разбор собеседования с sotto
После собеседования sotto разбирает разговор: оценка, каждый вопрос — хорошо, частично или слабо, чего не хватило в ответе и над чем поработать к следующему разу. Первые 30 минут бесплатно.