Дерево решений, случайный лес, градиентный бустинг — XGBoost, LightGBM, CatBoost.
Практика. Сравнить дерево, случайный лес и бустинг на табличном датасете по качеству и времени обучения.
Практика. Настроить LightGBM или CatBoost на соревновательном датасете с кросс-валидацией и ранней остановкой, обыграв базовую линию.
Практика. Ускорить предсказание бустинга в 5 раз при потере качества не более 1% и описать выбранные компромиссы.
Войдите, чтобы пройти тест: сданный тест отмечает тему пройденной на карте и в ИПР.
Дерево рекурсивно делит данные по признакам так, чтобы листья были максимально однородными; глубокое дерево легко переобучается. Случайный лес (бэггинг) обучает много глубоких деревьев на случайных подвыборках строк и признаков и усредняет — снижает разброс…
Полный разборВсе три — реализации градиентного бустинга на деревьях. XGBoost — регуляризация в функции потерь и быстрая точная реализация; LightGBM — рост деревьев по листьям и гистограммы, очень быстрый на больших данных; CatBoost (Яндекс) — встроенная работа с…
Полный разборДерево жадно выбирает разбиение по признаку и порогу, которое лучше всего разделяет данные: для классификации — максимальное уменьшение неоднородности (индекс Джини или энтропия), для регрессии — уменьшение разброса (MSE). Затем то же для каждой половины…
Полный разборПереобучение — модель запомнила обучающие данные вместе с шумом и плохо работает на новых; недообучение — модель слишком простая и плоха даже на обучающих.
Полный разборОбучающая — на ней модель учится, валидационная — подбираем параметры и сравниваем модели, тестовая — один раз в конце для честной оценки.
Полный разборМасштабирование (StandardScaler, MinMaxScaler) нужно моделям, чувствительным к расстояниям и величине весов: линейным с регуляризацией, k-means, kNN, нейросетям. Деревьям оно не нужно. Категории кодируют one-hot (столбец на значение — для небольшого числа…
Полный разборКак строится дерево, чем случайный лес отличается от бустинга, как выбрать между XGBoost, LightGBM и CatBoost и как объяснить прогноз.
После собеседования sotto разбирает разговор: оценка, каждый вопрос — хорошо, частично или слабо, чего не хватило в ответе и над чем поработать к следующему разу. Первые 30 минут бесплатно.