Как работает градиентный спуск и что такое learning rate?
- Чем SGD отличается от Adam?
- Что такое mini-batch?
Градиентный спуск минимизирует функцию потерь, шаг за шагом сдвигая параметры против градиента — в сторону наибольшего уменьшения ошибки. Learning rate — размер шага: слишком большой — расходится или скачет, слишком маленький — учится очень долго.
- Full batch — градиент по всем данным; SGD — по одному примеру; mini-batch — по пачке (стандарт)
- Adam адаптирует шаг для каждого параметра по истории градиентов — стандарт для нейросетей
- Learning rate часто меняют по расписанию: разогрев, затем уменьшение
А ещё Шум мини-батчей помогает выбираться из плохих локальных минимумов
Подробно
Формула шага: w ← w − η·∇L(w), где η — learning rate, ∇L — градиент потерь по параметрам.
Варианты по объёму данных на шаг:
- batch — точный градиент, но дорогой шаг на больших данных;
- стохастический (SGD) — по одному примеру: дёшево, но шумно;
- mini-batch — компромисс: пачки по 32–1024 примеров, эффективно на GPU.
Оптимизаторы:
- momentum — накапливает «инерцию» направления, сглаживает колебания;
- RMSProp, Adam — нормируют шаг по каждому параметру на величину его прошлых градиентов; AdamW — Adam с корректным weight decay, стандарт для трансформеров.
Подбор learning rate: диагностика по кривой потерь — растёт или «взрывается» → слишком большой; падает очень медленно → слишком маленький. Расписания: warmup в начале (особенно для трансформеров), затем косинусное или ступенчатое уменьшение.
Что хотят услышать
- Идея движения против градиента.
- Роль learning rate.
- Batch, SGD, mini-batch и Adam.
Проверьте себя
Один верный вариант. Подумайте, потом откройте ответ.
Показать варианты и ответ
- ✗Чем больше learning rate, тем точнее итоговая модель
- ✗Mini-batch — это градиент, посчитанный по всем данным сразу
- ✗Параметры сдвигают по градиенту; большой learning rate лишь ускоряет сходимость без риска
- ✓Шаг против градиента; большой learning rate — расхождение, малый — медленно
Разбор темы
- Основы машинного обучения — задачи, выборки и первые модели
Какие бывают задачи ML, зачем делить данные на выборки, что такое переобучение и как обучаются линейная и логистическая регрессия.
Связанные вопросы
Разбор собеседования с sotto
После собеседования sotto разбирает разговор: оценка, каждый вопрос — хорошо, частично или слабо, чего не хватило в ответе и над чем поработать к следующему разу. Первые 30 минут бесплатно.