Что такое матрица ошибок и как по ней посчитать precision и recall?
- Что такое TP, FP, FN, TN?
Матрица ошибок — таблица 2×2: TP (верно нашли положительный), FP (ложная тревога), FN (пропустили положительный), TN (верно отвергли). Из неё: precision = TP / (TP + FP) — доля верных среди найденных, recall = TP / (TP + FN) — доля найденных среди настоящих, accuracy = (TP + TN) / всё. Изменение порога перераспределяет ошибки: выше порог — меньше FP, больше FN.
- FP — ошибка I рода, FN — ошибка II рода
- Цена FP и FN в бизнесе разная — отсюда выбор метрики и порога
- Для многих классов матрица N×N, метрики считают по каждому классу
А ещё Пример: антифрод — FN (пропущенное мошенничество) обычно дороже FP
Подробно
Пример. Модель отметила 100 транзакций как мошеннические, из них 30 действительно мошеннические. Всего мошеннических было 50.
- TP = 30, FP = 70, FN = 20;
- precision = 30 / 100 = 0,3;
- recall = 30 / 50 = 0,6.
Как читать. Низкая precision — много ложных тревог, сотрудники тратят время на проверку. Низкий recall — много мошенничества проходит. Порог выбирают, считая стоимость каждой ошибки.
Что хотят услышать
- Четыре ячейки матрицы.
- Формулы precision, recall, accuracy.
- Влияние порога и цена ошибок.
Проверьте себя
Один верный вариант. Подумайте, потом откройте ответ.
Показать варианты и ответ
- ✗Precision = TP / (TP + FN), recall = TP / (TP + FP)
- ✗Повышение порога увеличивает число ложных тревог
- ✓Precision = TP/(TP+FP), recall = TP/(TP+FN)
- ✗Precision = TP / (TP + FN) — доля найденных среди настоящих, recall = TP / (TP + FP) — доля верных среди найденных
Разбор темы
- Метрики качества моделей
Матрица ошибок, precision и recall, ROC-AUC и PR-AUC, метрики регрессии и работа с несбалансированными классами.
Связанные вопросы
Разбор собеседования с sotto
После собеседования sotto разбирает разговор: оценка, каждый вопрос — хорошо, частично или слабо, чего не хватило в ответе и над чем поработать к следующему разу. Первые 30 минут бесплатно.