Как объяснить предсказание модели — важность признаков и SHAP?
- Что такое SHAP?
- Почему встроенная важность признаков в деревьях бывает обманчива?
Глобальная важность показывает, какие признаки в целом влияют на модель; локальная — почему модель приняла конкретное решение. SHAP раскладывает прогноз на вклады признаков на основе значений Шепли из теории игр: сумма вкладов плюс базовое значение равна прогнозу.
- Встроенная важность деревьев (по уменьшению примеси) завышает признаки с большим числом значений
- Permutation importance: перемешать признак и посмотреть падение качества — честнее
- Коррелированные признаки делят важность между собой
А ещё Важность — не причинность: признак может быть следствием, а не причиной
Подробно
Зачем объяснять: доверие бизнеса, требования регуляторов (отказ в кредите нужно объяснить), отладка модели — подозрительно важный признак часто означает утечку данных.
Методы:
- коэффициенты линейной модели — при масштабированных признаках;
- impurity-based importance в деревьях — быстро, но смещена к непрерывным признакам и признакам с многими значениями;
- permutation importance — падение метрики на валидации после перемешивания признака; модель-агностично;
- SHAP — вклад каждого признака в конкретный прогноз; для деревьев есть быстрый точный алгоритм (TreeSHAP); графики summary и waterfall;
- partial dependence — как прогноз зависит от признака в среднем.
Ловушки:
- коррелированные признаки: удаление одного почти не меняет качество, и оба выглядят неважными;
- важность ≠ причинно-следственная связь: для решений «что изменить, чтобы улучшить метрику» нужны эксперименты или causal-методы.
Что хотят услышать
- Глобальная и локальная интерпретация.
- Идея SHAP.
- Ограничения встроенной важности и корреляций.
Проверьте себя
Один верный вариант. Подумайте, потом откройте ответ.
Показать варианты и ответ
- ✓SHAP раскладывает прогноз на вклады признаков: их сумма плюс базовое значение равна прогнозу
- ✗Встроенная важность деревьев всегда честнее permutation importance
- ✗Встроенная важность деревьев честнее permutation importance и показывает, какие признаки причинно влияют на целевую переменную
- ✗Глобальная важность объясняет каждое отдельное предсказание
Разбор темы
- Деревья решений и градиентный бустинг
Как строится дерево, чем случайный лес отличается от бустинга, как выбрать между XGBoost, LightGBM и CatBoost и как объяснить прогноз.
Связанные вопросы
Разбор собеседования с sotto
После собеседования sotto разбирает разговор: оценка, каждый вопрос — хорошо, частично или слабо, чего не хватило в ответе и над чем поработать к следующему разу. Первые 30 минут бесплатно.