Как вы строите признаки для модели?
- Что такое feature engineering?
- Как кодировать категориальные признаки с большим числом значений?
Признаки часто важнее выбора модели. Источники: знание предметной области (доля возвратов клиента, время с последней покупки), агрегаты по истории (среднее, число событий за окна), время (день недели, праздники, сезонность), взаимодействия и отношения признаков, текст и категории (частоты, target encoding, эмбеддинги). Главное правило — признак должен быть доступен на момент предсказания, иначе утечка.
- Агрегаты считаются только по данным до момента предсказания
- Target encoding — с регуляризацией и внутри фолдов кросс-валидации
- Бустинги сами ловят нелинейности, линейным моделям нужны преобразования
А ещё Признаки проверяют на валидации, а не на интуиции: много признаков — шум и переобучение
Подробно
Типы признаков:
| тип | приёмы |
|---|---|
| числовые | логарифм для хвостов, биннинг, отношения |
| категориальные | one-hot, частоты, target encoding, CatBoost нативно |
| время | компоненты даты, давность, циклическое кодирование |
| история | агрегаты за окна 7, 30, 90 дней, тренды |
| текст | длина, ключевые слова, TF-IDF, эмбеддинги |
| геоданные | расстояния, плотность объектов рядом |
Утечки: агрегат посчитан с учётом будущего; признак отражает решение, принятое после события; target encoding на всей выборке.
Отбор: важность признаков, SHAP, удаление и проверка на валидации, стабильность во времени.
Что хотят услышать
- Признаки из предметной области и истории.
- Доступность на момент предсказания.
- Проверка на валидации и отбор.
Проверьте себя
Один верный вариант. Подумайте, потом откройте ответ.
Показать варианты и ответ
- ✗Агрегаты по истории можно считать по всем данным, включая будущее
- ✗Считать агрегаты по всей истории клиента, включая данные после момента прогноза: так признак полнее и модель точнее
- ✗Target encoding безопасен без каких-либо мер против утечки
- ✓Знание предметной области, агрегаты, время — и без утечки
Разбор темы
- Признаки, утечки и честная валидация
Как строить признаки, находить утечку данных, выбирать схему кросс-валидации и читать кривые обучения.
Связанные вопросы
Разбор собеседования с sotto
После собеседования sotto разбирает разговор: оценка, каждый вопрос — хорошо, частично или слабо, чего не хватило в ответе и над чем поработать к следующему разу. Первые 30 минут бесплатно.