Что такое регуляризация и чем L1 отличается от L2?
- Почему L1 обнуляет веса, а L2 — нет?
- Что такое Lasso и Ridge?
Регуляризация добавляет к функции потерь штраф за большие веса, чтобы модель не подгонялась под шум. L2 (Ridge) — штраф за сумму квадратов: веса уменьшаются плавно, но не до нуля. L1 (Lasso) — штраф за сумму модулей: многие веса становятся ровно нулём, это встроенный отбор признаков.
- Elastic Net — смесь L1 и L2: отбор признаков и устойчивость к коррелированным признакам
- Сила регуляризации — гиперпараметр (alpha, C = 1/alpha в sklearn), подбирается на валидации
- Признаки нужно масштабировать, иначе штраф несправедлив
А ещё В нейросетях — weight decay, dropout, ранняя остановка, аугментация
Подробно
Формулы:
- L2: loss + λ·Σw² — штраф растёт квадратично, большие веса особенно дороги, маленькие почти бесплатны;
- L1: loss + λ·Σ|w| — штраф линейный, и оптимизатору выгодно «дотянуть» малозначимые веса до нуля.
Почему L1 даёт нули. Геометрически ограничение L1 — ромб с углами на осях, и решение часто попадает в угол, где часть координат нулевая. У L2 ограничение — круг, и касание с линиями уровня потерь редко приходится ровно на ось.
Практика:
- много признаков, нужен отбор — L1 или Elastic Net;
- коррелированные признаки — L2 устойчивее (L1 выбирает один из группы случайно);
- масштабировать признаки перед обучением — StandardScaler;
- λ подбирать кросс-валидацией: слишком большое — недообучение.
В нейросетях: weight decay (аналог L2), dropout (случайное отключение нейронов), ранняя остановка, аугментация данных.
Что хотят услышать
- Идея штрафа за веса.
- Различие L1 и L2 и почему L1 разреживает.
- Масштабирование признаков и подбор силы.
Проверьте себя
Один верный вариант. Подумайте, потом откройте ответ.
Показать варианты и ответ
- ✗L2 зануляет веса, L1 уменьшает их плавно
- ✗Регуляризация увеличивает веса, чтобы модель лучше подгонялась
- ✓L1 зануляет многие веса, L2 плавно уменьшает все
- ✗Сила регуляризации подбирается на тестовой выборке
Связанные вопросы
Разбор собеседования с sotto
После собеседования sotto разбирает разговор: оценка, каждый вопрос — хорошо, частично или слабо, чего не хватило в ответе и над чем поработать к следующему разу. Первые 30 минут бесплатно.