Какие метрики качества классификации вы знаете?
- Чем precision отличается от recall?
- Почему accuracy плохая метрика на несбалансированных данных?
- Что такое F1 и ROC-AUC?
Precision — доля верных среди предсказанных положительных, recall — доля найденных среди всех настоящих положительных; F1 — их гармоническое среднее.
- Accuracy обманывает при дисбалансе: 99 % «не мошенник» — 99 % точности без пользы
- ROC-AUC — качество ранжирования при всех порогах; PR-AUC — лучше при сильном дисбалансе
А ещё Метрику выбирают по цене ошибок: что хуже — ложная тревога или пропуск?
Подробно
Основа — матрица ошибок: TP (верно нашли), FP (ложная тревога), FN (пропустили), TN (верно отвергли).
- Accuracy = (TP + TN) / всё. Понятна, но бесполезна при дисбалансе классов.
- Precision = TP / (TP + FP) — насколько можно доверять срабатыванию.
- Recall = TP / (TP + FN) — какую долю настоящих случаев нашли.
- F1 — гармоническое среднее precision и recall; полезна, когда важны обе.
- ROC-AUC — вероятность, что случайный положительный пример получит оценку выше случайного отрицательного; не зависит от порога.
- PR-AUC — площадь под кривой precision–recall, информативнее при редком положительном классе.
Порог. Модель часто выдаёт вероятность, а класс определяется порогом. Повышаем порог — растёт precision, падает recall, и наоборот. Порог выбирают под задачу.
Выбор по цене ошибок:
- диагностика болезни, поиск мошенничества — важнее recall, пропуск дорог;
- спам-фильтр, автоблокировка — важнее precision, ложное срабатывание раздражает пользователя.
Пример
Из 1000 транзакций 10 мошеннических. Модель пометила 20, из них 8 настоящих. Precision = 8/20 = 0.4, recall = 8/10 = 0.8, F1 ≈ 0.53. Accuracy = (8 + 978) / 1000 ≈ 0.99 — выглядит отлично, но ничего не говорит о качестве.
Что хотят услышать
- Матрица ошибок и формулы precision, recall, F1.
- Почему accuracy не подходит при дисбалансе.
- Роль порога и ROC-AUC.
- Выбор метрики по цене ошибок.
Частые ошибки
- Путать precision и recall.
- Оценивать модель на редком классе по accuracy.
Проверьте себя
Один верный вариант. Подумайте, потом откройте ответ.
Показать варианты и ответ
- ✗Precision — доля найденных среди всех настоящих положительных
- ✗Precision — доля найденных среди всех настоящих положительных, recall — доля верных среди предсказанных, F1 — их среднее арифметическое
- ✓Precision — верные среди найденных, recall — найденные среди настоящих, F1 — их гармоническое
- ✗F1 — среднее арифметическое accuracy и recall
Что спросят дальше
Разбор темы
- Метрики качества моделей
Матрица ошибок, precision и recall, ROC-AUC и PR-AUC, метрики регрессии и работа с несбалансированными классами.
Связанные вопросы
Разбор собеседования с sotto
После собеседования sotto разбирает разговор: оценка, каждый вопрос — хорошо, частично или слабо, чего не хватило в ответе и над чем поработать к следующему разу. Первые 30 минут бесплатно.