Построение, кодирование, масштабирование и отбор признаков.
Практика. Подготовить признаки для табличного датасета в Pipeline scikit-learn с кодированием и масштабированием.
Практика. Улучшить базовую модель на соревновательном датасете только за счёт признаков и задокументировать вклад каждого.
Практика. Спроектировать хранилище признаков для трёх моделей с пакетным и онлайн-расчётом и проверкой расхождений.
Войдите, чтобы пройти тест: сданный тест отмечает тему пройденной на карте и в ИПР.
Признаки часто важнее выбора модели. Источники: знание предметной области (доля возвратов клиента, время с последней покупки), агрегаты по истории (среднее, число событий за окна), время (день недели, праздники, сезонность), взаимодействия и отношения…
Полный разборМасштабирование (StandardScaler, MinMaxScaler) нужно моделям, чувствительным к расстояниям и величине весов: линейным с регуляризацией, k-means, kNN, нейросетям. Деревьям оно не нужно. Категории кодируют one-hot (столбец на значение — для небольшого числа…
Полный разборУтечка — в обучении используется информация, недоступная в момент реального прогноза. Метрики на валидации получаются завышенными, а в продакшене модель проваливается. Виды: утечка целевой переменной (признак — следствие ответа), утечка из будущего…
Полный разборСначала понять, почему значение пропущено: технический сбой, «не применимо» (нет второго адреса), пользователь не захотел указывать. Пропуск часто несёт информацию. Варианты: исключить строки (если пропусков мало и они случайны), заполнить (медианой…
Полный разборСначала понять природу выброса: ошибка данных (тестовый заказ, бот, сбой трекинга, неверные единицы) — исправить или исключить; реальное редкое значение (оптовый клиент) — часть распределения, удалять нельзя, но можно ограничить влияние: медиана, логарифм…
Полный разборЦель EDA — понять данные до модели: структура (строки, столбцы, типы, единицы, что такое одна строка), качество (пропуски, дубли, выбросы, ошибки ввода), распределения признаков и целевой переменной, связи между признаками и с целевой, время (тренды…
Полный разборКак строить признаки, находить утечку данных, выбирать схему кросс-валидации и читать кривые обучения.
После собеседования sotto разбирает разговор: оценка, каждый вопрос — хорошо, частично или слабо, чего не хватило в ответе и над чем поработать к следующему разу. Первые 30 минут бесплатно.