Матрица ошибок
У классификатора четыре исхода: TP — верно нашли положительный, FP — ложная тревога, FN — пропуск, TN — верно отвергли. Из них считаются все метрики:
- precision = TP / (TP + FP) — доля верных среди найденных;
- recall = TP / (TP + FN) — доля найденных среди настоящих;
- F1 — их гармоническое среднее.
Почему accuracy обманывает
При 1 % мошенничества модель «всё честно» даёт 99 % accuracy и бесполезна. При дисбалансе смотрят precision, recall и PR-AUC, подбирают порог под цену ошибок, задают веса классов. Что дороже — ложная тревога или пропуск — решает бизнес, и от этого зависит выбор метрики.
ROC-AUC и PR-AUC
ROC-AUC — вероятность, что случайный положительный объект получит оценку выше случайного отрицательного; 0,5 — угадывание, 1 — идеал. Она оценивает ранжирование при всех порогах. При сильном дисбалансе ROC-AUC может выглядеть высокой при плохой precision — тогда честнее PR-AUC.
Метрики регрессии
MAE — средняя абсолютная ошибка в единицах цели, устойчива к выбросам. RMSE сильнее штрафует большие промахи. MAPE — ошибка в процентах, удобна бизнесу, но ломается около нуля. R² — доля объяснённой дисперсии. Сильный разрыв RMSE и MAE — признак крупных промахов.
Итог
- Метрика выбирается по цене ошибок.
- При дисбалансе — precision, recall, PR-AUC и подбор порога.
- ROC-AUC оценивает ранжирование, а не решение.
- Для регрессии MAE и RMSE отвечают на разные вопросы.