Как работает дерево решений и чем случайный лес отличается от градиентного бустинга?
- Что такое бэггинг и бустинг?
- Почему одно дерево переобучается?
Дерево рекурсивно делит данные по признакам так, чтобы листья были максимально однородными; глубокое дерево легко переобучается. Случайный лес (бэггинг) обучает много глубоких деревьев на случайных подвыборках строк и признаков и усредняет — снижает разброс. Градиентный бустинг строит неглубокие деревья последовательно, каждое исправляет ошибки предыдущих — снижает смещение.
- Лес устойчив, почти не требует настройки, хорошо параллелится
- Бустинг обычно точнее на табличных данных, но чувствителен к гиперпараметрам
- Деревьям не нужно масштабирование признаков
А ещё На табличных данных бустинг часто выигрывает у нейросетей
Подробно
Дерево решений. На каждом шаге выбирается признак и порог, лучше всего разделяющие данные (критерий — неопределённость Джини или энтропия для классификации, MSE для регрессии). Дерево легко читать, но без ограничений (глубина, минимум объектов в листе) оно выучивает каждую точку — высокий разброс.
Бэггинг и случайный лес:
- каждое дерево обучается на бутстреп-выборке (с повторениями);
- в каждом узле выбирается лучший признак из случайного подмножества — деревья становятся менее похожими;
- ответы усредняются (регрессия) или решаются голосованием.
Ошибки отдельных деревьев частично гасят друг друга. Бонус — оценка качества на объектах, не попавших в выборку (out-of-bag).
Градиентный бустинг:
- начинается с простого прогноза (среднего);
- каждое следующее дерево обучается предсказывать остатки (антиградиент функции потерь) текущего ансамбля;
- вклад дерева умножается на небольшой шаг (learning rate).
| случайный лес | градиентный бустинг | |
|---|---|---|
| деревья | глубокие, независимые | мелкие, последовательные |
| что снижает | разброс | смещение |
| настройка | почти не нужна | важна |
| обучение | параллельно | последовательно |
Что хотят услышать
- Как строится дерево и почему переобучается.
- Бэггинг и случайность в лесу.
- Идея бустинга на остатках.
- Сравнение по bias-variance.
Проверьте себя
Один верный вариант. Подумайте, потом откройте ответ.
Показать варианты и ответ
- ✗Случайный лес строит деревья последовательно, исправляя ошибки предыдущих
- ✓Лес усредняет деревья и снижает разброс, бустинг строит их последовательно
- ✗Случайный лес строит деревья последовательно, исправляя ошибки предыдущих, а бустинг усредняет независимые глубокие деревья
- ✗Бустинг и лес отличаются только числом деревьев
Что спросят дальше
Разбор темы
- Деревья решений и градиентный бустинг
Как строится дерево, чем случайный лес отличается от бустинга, как выбрать между XGBoost, LightGBM и CatBoost и как объяснить прогноз.
Связанные вопросы
Разбор собеседования с sotto
После собеседования sotto разбирает разговор: оценка, каждый вопрос — хорошо, частично или слабо, чего не хватило в ответе и над чем поработать к следующему разу. Первые 30 минут бесплатно.