Как строится дерево решений?
- Что такое критерий Джини?
- Почему дерево решений переобучается?
Дерево жадно выбирает разбиение по признаку и порогу, которое лучше всего разделяет данные: для классификации — максимальное уменьшение неоднородности (индекс Джини или энтропия), для регрессии — уменьшение разброса (MSE). Затем то же для каждой половины, пока не сработает ограничение: глубина, минимум объектов в листе. Прогноз — большинство класса или среднее в листе. Глубокое дерево запоминает обучающие данные — переобучается.
- Деревьям не нужно масштабирование признаков
- Дерево легко интерпретировать — это набор правил «если … то …»
- Одно дерево неустойчиво: небольшое изменение данных меняет структуру
А ещё Случайный лес усредняет много деревьев, бустинг строит их последовательно
Подробно
Пример. Предсказываем отток. Корень: «дней с последнего заказа
30?» — да: 70 % ушли, нет: 10 %. Дальше каждая ветка делится по
своему лучшему признаку.
Джини для узла: 1 − Σ pₖ², где pₖ — доля класса k. Чистый узел — 0. Выбирается разбиение с наименьшим взвешенным Джини потомков.
Ограничения против переобучения: max_depth, min_samples_leaf, min_samples_split, обрезка (pruning).
Что хотят услышать
- Жадный выбор разбиений по Джини, энтропии, MSE.
- Прогноз в листе.
- Переобучение и ограничения.
- Без масштабирования, интерпретируемость.
Проверьте себя
Один верный вариант. Подумайте, потом откройте ответ.
Показать варианты и ответ
- ✗Дерево требует обязательного масштабирования признаков
- ✗Дерево перебирает все возможные структуры и выбирает оптимальную, поэтому чем оно глубже, тем лучше обобщает на новые данные
- ✗Дерево ищет оптимальную структуру перебором всех возможных деревьев
- ✓Жадные разбиения по уменьшению неоднородности до ограничений
Разбор темы
- Деревья решений и градиентный бустинг
Как строится дерево, чем случайный лес отличается от бустинга, как выбрать между XGBoost, LightGBM и CatBoost и как объяснить прогноз.
Связанные вопросы
Разбор собеседования с sotto
После собеседования sotto разбирает разговор: оценка, каждый вопрос — хорошо, частично или слабо, чего не хватило в ответе и над чем поработать к следующему разу. Первые 30 минут бесплатно.