Что такое ROC-AUC и PR-AUC и когда какую метрику использовать?
- Как интерпретировать ROC-кривую?
ROC-кривая — зависимость доли найденных положительных (TPR) от доли ложных тревог (FPR) при всех порогах; ROC-AUC — площадь под ней, вероятность того, что случайный положительный объект получит оценку выше случайного отрицательного. PR-кривая — precision против recall; при сильном дисбалансе PR-AUC честнее.
- ROC-AUC 0,5 — случайное угадывание, 1 — идеальное ранжирование
- AUC не зависит от порога — оценивает качество ранжирования, а не решения
- ROC-AUC может выглядеть высоким при редком классе, когда precision при этом низкий
А ещё Для бизнеса важна метрика при выбранном пороге: precision@k, recall при фиксированной доле тревог
Подробно
Построение ROC. Сортируем объекты по оценке модели и сдвигаем порог от максимума к минимуму. На каждом пороге считаем:
- TPR = TP / (TP + FN) — recall, доля найденных положительных;
- FPR = FP / (FP + TN) — доля отрицательных, ошибочно отмеченных.
Почему ROC обманчив при дисбалансе. При миллионе нормальных транзакций и тысяче мошеннических FPR 1% — это 10 000 ложных тревог на 1 000 настоящих: precision около 9%, хотя на ROC-кривой точка выглядит отлично. PR-кривая показывает эту проблему сразу.
PR-AUC (average precision) — площадь под кривой precision-recall. Базовый уровень случайной модели равен доле положительного класса, а не 0,5.
Когда что:
- классы сбалансированы, важно ранжирование в целом — ROC-AUC;
- редкий класс, важны найденные срабатывания — PR-AUC;
- конкретное решение — метрики при выбранном пороге и их стоимость.
Что хотят услышать
- Как строятся кривые и что означает площадь.
- Независимость от порога.
- Почему при дисбалансе нужна PR-кривая.
Проверьте себя
Один верный вариант. Подумайте, потом откройте ответ.
Показать варианты и ответ
- ✗ROC-AUC 0,5 — идеальное ранжирование, 1 — случайное угадывание
- ✗AUC зависит от выбранного порога классификации, поэтому его подбирают
- ✗При сильном дисбалансе ROC-AUC честнее PR-AUC, так как учитывает все объекты
- ✓ROC-AUC — качество ранжирования; при сильном дисбалансе честнее PR-AUC
Разбор темы
- Метрики качества моделей
Матрица ошибок, precision и recall, ROC-AUC и PR-AUC, метрики регрессии и работа с несбалансированными классами.
Связанные вопросы
Разбор собеседования с sotto
После собеседования sotto разбирает разговор: оценка, каждый вопрос — хорошо, частично или слабо, чего не хватило в ответе и над чем поработать к следующему разу. Первые 30 минут бесплатно.