Дерево решений
Дерево жадно выбирает разбиение по признаку и порогу, которое лучше всего разделяет данные — уменьшает неоднородность (индекс Джини, энтропия) для классификации или разброс для регрессии, — и повторяет это для каждой части. Прогноз — большинство или среднее в листе. Деревьям не нужно масштабирование, их легко объяснить, но глубокое дерево переобучается, а одно дерево неустойчиво.
Лес и бустинг
Случайный лес обучает много глубоких деревьев на случайных подвыборках строк и признаков и усредняет — снижает разброс. Он устойчив и почти не требует настройки.
Градиентный бустинг строит неглубокие деревья последовательно: каждое исправляет ошибки предыдущих — снижает смещение. На табличных данных бустинг обычно точнее всех остальных методов.
XGBoost, LightGBM, CatBoost
Все три — реализации бустинга. LightGBM — рост по листьям и гистограммы, очень быстрый на больших данных. CatBoost — встроенная работа с категориальными признаками, хорош «из коробки». Главные параметры — learning rate и число деревьев (вместе), глубина, подвыборки, регуляризация. Число деревьев подбирают ранней остановкой по валидации.
Почему модель так решила
Глобальная важность признаков показывает, что в целом влияет на модель; встроенная важность деревьев завышает признаки с большим числом значений, честнее permutation importance. SHAP раскладывает конкретный прогноз на вклады признаков: сумма вкладов плюс базовое значение равна прогнозу. Важность — не причинность.
Итог
- Дерево — правила «если … то …», склонное к переобучению.
- Лес снижает разброс, бустинг — смещение.
- Бустинг настраивают с ранней остановкой.
- SHAP объясняет отдельные прогнозы.