Метрики классификации и регрессии, ROC и PR, порог и связь с бизнесом.
Практика. Посчитать метрики классификатора вручную по матрице ошибок и сверить с scikit-learn.
Практика. Выбрать порог модели оттока, максимизирующий прибыль при заданной стоимости удержания и потерь.
Практика. Для модели скоринга подготовить с заказчиком документ метрик — офлайн-метрика, порог, бизнес-эффект, критерий остановки.
Войдите, чтобы пройти тест: сданный тест отмечает тему пройденной на карте и в ИПР.
Precision — доля верных среди предсказанных положительных, recall — доля найденных среди всех настоящих положительных; F1 — их гармоническое среднее.
Полный разборROC-кривая — зависимость доли найденных положительных (TPR) от доли ложных тревог (FPR) при всех порогах; ROC-AUC — площадь под ней, вероятность того, что случайный положительный объект получит оценку выше случайного отрицательного. PR-кривая — precision…
Полный разборMAE — средняя абсолютная ошибка, понятна в единицах цели, устойчива к выбросам. RMSE — корень из средней квадратичной ошибки, сильнее штрафует большие промахи. MAPE — средняя относительная ошибка в процентах, удобна бизнесу, но ломается на значениях около…
Полный разборПри 1% мошенничества модель «всё честно» даёт 99% accuracy и бесполезна. Нужны правильные метрики (precision, recall, F1, PR-AUC), подбор порога под цену ошибок, веса классов в функции потерь, а пересэмплирование (undersampling, oversampling, SMOTE) — с…
Полный разборОшибку модели раскладывают на смещение (bias — модель слишком проста и систематически ошибается), разброс (variance — модель слишком чувствительна к конкретной выборке) и неустранимый шум. Рост сложности уменьшает смещение и увеличивает разброс; оптимум …
Полный разборЦель EDA — понять данные до модели: структура (строки, столбцы, типы, единицы, что такое одна строка), качество (пропуски, дубли, выбросы, ошибки ввода), распределения признаков и целевой переменной, связи между признаками и с целевой, время (тренды…
Полный разборМатрица ошибок — таблица 2×2: TP (верно нашли положительный), FP (ложная тревога), FN (пропустили положительный), TN (верно отвергли). Из неё: precision = TP / (TP + FP) — доля верных среди найденных, recall = TP / (TP + FN) — доля найденных среди настоящих…
Полный разборМатрица ошибок, precision и recall, ROC-AUC и PR-AUC, метрики регрессии и работа с несбалансированными классами.
После собеседования sotto разбирает разговор: оценка, каждый вопрос — хорошо, частично или слабо, чего не хватило в ответе и над чем поработать к следующему разу. Первые 30 минут бесплатно.