Как по кривым обучения понять, что модель переобучается или недообучается?
- Что такое learning curve?
- Как понять, помогут ли больше данных?
Кривые обучения — ошибка на обучении и валидации в зависимости от эпохи (для нейросетей и бустинга) или от размера обучающей выборки. Переобучение: ошибка на обучении падает, а на валидации после какого-то момента растёт — большой разрыв. Недообучение: обе ошибки высокие и близки друг к другу. Если валидационная ошибка ещё падает с ростом выборки — больше данных поможет; если кривые сошлись на плато — нужна модель сложнее или лучшие признаки.
- Точка, где валидационная ошибка минимальна, — момент для ранней остановки
- Шумная валидационная кривая — мало данных в валидации
- Строить кривые нужно по той же метрике, что важна в задаче
А ещё Если валидация лучше обучения — проверьте dropout, регуляризацию и утечку
Подробно
Чтение по эпохам:
- обе падают — продолжать;
- обучение падает, валидация растёт — переобучение, остановить и регуляризовать;
- обе на высоком плато — недообучение.
Чтение по размеру выборки (sklearn learning_curve):
- большой разрыв и валидация ещё падает — нужны данные;
- разрыв маленький, ошибка высокая — нужна сложнее модель.
Действия при переобучении: регуляризация, упрощение модели, ранняя остановка, больше данных, аугментация.
Что хотят услышать
- Кривые по эпохам и по размеру выборки.
- Признаки переобучения и недообучения.
- Помогут ли данные.
Проверьте себя
Один верный вариант. Подумайте, потом откройте ответ.
Показать варианты и ответ
- ✗Обе ошибки высокие и близки друг к другу — это признак переобучения модели
- ✗Кривые обучения нужны только для нейросетей
- ✓Обучение падает, валидация растёт — переобучение; обе высокие — недообучение
- ✗Если кривые сошлись на плато, больше данных всегда поможет
Разбор темы
- Признаки, утечки и честная валидация
Как строить признаки, находить утечку данных, выбирать схему кросс-валидации и читать кривые обучения.
Связанные вопросы
Разбор собеседования с sotto
После собеседования sotto разбирает разговор: оценка, каждый вопрос — хорошо, частично или слабо, чего не хватило в ответе и над чем поработать к следующему разу. Первые 30 минут бесплатно.