Выборки, кросс-валидация, валидация по времени, утечки, смещение и разброс.
Практика. Обучить модель с разными глубинами дерева и построить кривые ошибки на обучении и валидации.
Практика. Найти и исправить утечку в учебном соревновательном решении, показав разницу в оценке до и после.
Практика. Спроектировать валидацию для прогноза спроса по тысячам товаров с разными горизонтами и проверить, что офлайн-оценка совпадает с результатом на отложенном периоде.
Войдите, чтобы пройти тест: сданный тест отмечает тему пройденной на карте и в ИПР.
Обучающая — на ней модель учится, валидационная — подбираем параметры и сравниваем модели, тестовая — один раз в конце для честной оценки.
Полный разборK-fold: данные делят на k частей, модель обучают k раз, каждый раз оставляя одну часть для проверки, и усредняют метрику — оценка надёжнее одного разбиения. Для временных данных перемешивать нельзя: обучаются на прошлом, проверяются на будущем (скользящее…
Полный разборУтечка — в обучении используется информация, недоступная в момент реального прогноза. Метрики на валидации получаются завышенными, а в продакшене модель проваливается. Виды: утечка целевой переменной (признак — следствие ответа), утечка из будущего…
Полный разборПереобучение — модель запомнила обучающие данные вместе с шумом и плохо работает на новых; недообучение — модель слишком простая и плоха даже на обучающих.
Полный разборОшибку модели раскладывают на смещение (bias — модель слишком проста и систематически ошибается), разброс (variance — модель слишком чувствительна к конкретной выборке) и неустранимый шум. Рост сложности уменьшает смещение и увеличивает разброс; оптимум …
Полный разборPrecision — доля верных среди предсказанных положительных, recall — доля найденных среди всех настоящих положительных; F1 — их гармоническое среднее.
Полный разборКривые обучения — ошибка на обучении и валидации в зависимости от эпохи (для нейросетей и бустинга) или от размера обучающей выборки. Переобучение: ошибка на обучении падает, а на валидации после какого-то момента растёт — большой разрыв. Недообучение: обе…
Полный разборМатрица ошибок — таблица 2×2: TP (верно нашли положительный), FP (ложная тревога), FN (пропустили положительный), TN (верно отвергли). Из неё: precision = TP / (TP + FP) — доля верных среди найденных, recall = TP / (TP + FN) — доля найденных среди настоящих…
Полный разборКакие бывают задачи ML, зачем делить данные на выборки, что такое переобучение и как обучаются линейная и логистическая регрессия.
Как строить признаки, находить утечку данных, выбирать схему кросс-валидации и читать кривые обучения.
После собеседования sotto разбирает разговор: оценка, каждый вопрос — хорошо, частично или слабо, чего не хватило в ответе и над чем поработать к следующему разу. Первые 30 минут бесплатно.