Что такое компромисс смещения и разброса (bias-variance tradeoff)?
- Как сложность модели связана с переобучением?
Ошибку модели раскладывают на смещение (bias — модель слишком проста и систематически ошибается), разброс (variance — модель слишком чувствительна к конкретной выборке) и неустранимый шум. Рост сложности уменьшает смещение и увеличивает разброс; оптимум — посередине.
- Высокий bias — недообучение: плохо и на обучении, и на валидации
- Высокий variance — переобучение: хорошо на обучении, плохо на валидации
- Разброс снижают данные, регуляризация, ансамбли (бэггинг); смещение — более сложная модель и признаки
А ещё Большие нейросети показывают «двойной спуск» — после порога сложности ошибка снова падает
Подробно
Интуиция. Представьте, что модель обучили много раз на разных выборках из одного источника.
- Смещение — насколько средний прогноз этих моделей далёк от правды. Линейная модель на нелинейной зависимости ошибается одинаково на любой выборке.
- Разброс — насколько прогнозы разных моделей отличаются друг от друга. Глубокое дерево на маленькой выборке каждый раз выучивает свой шум.
Ожидаемая квадратичная ошибка = смещение² + разброс + шум.
Как диагностировать: кривые обучения — ошибка на обучении и валидации в зависимости от объёма данных или сложности модели. Большой разрыв между ними — разброс; обе высокие и близкие — смещение.
Что делать:
| проблема | меры |
|---|---|
| высокое смещение | сложнее модель, больше признаков, меньше регуляризации |
| высокий разброс | больше данных, регуляризация, проще модель, бэггинг, ранняя остановка |
Ансамбли: бэггинг (случайный лес) усредняет модели и снижает разброс; бустинг последовательно исправляет ошибки и снижает смещение.
Современная оговорка: у сильно перепараметризованных нейросетей наблюдают «двойной спуск» — классическая U-образная кривая работает не везде, но для табличных моделей это рабочая рамка.
Что хотят услышать
- Определения смещения и разброса.
- Связь со сложностью модели, недо- и переобучением.
- Как диагностировать и лечить каждое.
Проверьте себя
Один верный вариант. Подумайте, потом откройте ответ.
Показать варианты и ответ
- ✗Высокое смещение — переобучение, высокий разброс — недообучение
- ✗Усложнение модели снижает и смещение, и разброс одновременно
- ✓Смещение — недообучение, разброс — переобучение; сложность меняет их в разные стороны
- ✗Высокое смещение — это переобучение, высокий разброс — недообучение, и усложнение модели снижает оба одновременно
Связанные вопросы
Разбор собеседования с sotto
После собеседования sotto разбирает разговор: оценка, каждый вопрос — хорошо, частично или слабо, чего не хватило в ответе и над чем поработать к следующему разу. Первые 30 минут бесплатно.