Какие метрики используют для задач регрессии — MAE, RMSE, MAPE, R²?
MAE — средняя абсолютная ошибка, понятна в единицах цели, устойчива к выбросам. RMSE — корень из средней квадратичной ошибки, сильнее штрафует большие промахи. MAPE — средняя относительная ошибка в процентах, удобна бизнесу, но ломается на значениях около нуля. R² — доля объяснённой дисперсии относительно прогноза средним.
- RMSE ≥ MAE; сильный разрыв — признак крупных выбросов в ошибках
- Оптимум MAE — медиана, RMSE — среднее
- MAPE несимметрична: недопрогноз и перепрогноз штрафуются по-разному
А ещё Метрику выбирают по цене ошибки в бизнесе: важны ли редкие большие промахи
Подробно
| метрика | формула | особенности |
|---|---|---|
| MAE | среднее модуля (y − ŷ) | в единицах цели, устойчива к выбросам |
| RMSE | √среднее (y − ŷ)² | штрафует крупные ошибки |
| MAPE | среднее модуля (y − ŷ) / y | проценты, ломается около нуля |
| R² | 1 − SSE / SST | 1 — идеально, 0 — как среднее, может быть < 0 |
Выбор:
- стоимость ошибки пропорциональна её размеру — MAE;
- большие промахи особенно опасны (прогноз нагрузки, запасы) — RMSE;
- нужно объяснить бизнесу «ошибаемся в среднем на 8%» — MAPE или sMAPE, WAPE (взвешенная, устойчивее);
- сравнить модели на одной задаче — R², но он не говорит, достаточно ли точна модель для решения.
Связь с обучением: минимизация MSE даёт прогноз среднего, минимизация MAE — медианы. Для прогноза интервалов — квантильная функция потерь.
Что хотят услышать
- Определения и интерпретация.
- Различие MAE и RMSE.
- Ограничения MAPE и R².
Проверьте себя
Один верный вариант. Подумайте, потом откройте ответ.
Показать варианты и ответ
- ✗MAE всегда больше RMSE
- ✗MAPE симметрична и особенно хорошо работает на значениях около нуля
- ✗MAE сильнее штрафует большие промахи, RMSE устойчивее к выбросам
- ✓RMSE сильнее штрафует большие промахи, MAE устойчивее к выбросам
Разбор темы
- Метрики качества моделей
Матрица ошибок, precision и recall, ROC-AUC и PR-AUC, метрики регрессии и работа с несбалансированными классами.
Связанные вопросы
Разбор собеседования с sotto
После собеседования sotto разбирает разговор: оценка, каждый вопрос — хорошо, частично или слабо, чего не хватило в ответе и над чем поработать к следующему разу. Первые 30 минут бесплатно.