Как работает обратное распространение ошибки и чем отличаются SGD с моментом и Adam?
- Что такое цепное правило в backpropagation?
- Почему Adam популярнее SGD?
Обратное распространение считает градиенты потерь по всем весам по цепному правилу: производная сложной функции — произведение производных звеньев. Сначала прямой проход сохраняет промежуточные значения, затем градиенты идут от выхода к входу, переиспользуя уже посчитанное. SGD с моментом накапливает «скорость» — экспоненциальное среднее прошлых градиентов, сглаживая колебания. Adam дополнительно нормирует шаг каждого параметра на средний квадрат его градиентов: редко обновляемые параметры получают больший шаг.
- Adam быстро сходится почти без настройки — стандарт для трансформеров (обычно AdamW)
- SGD с моментом иногда даёт лучшее обобщение в компьютерном зрении
- Затухание градиентов: произведение многих малых производных стремится к нулю
А ещё Для логистической регрессии градиент log loss по весам — (p − y)·x
Подробно
Цепное правило. Для L(f(g(w))): dL/dw = dL/df · df/dg · dg/dw. Сеть — длинная цепочка таких функций; backprop вычисляет произведения справа налево за один проход.
Логистическая регрессия. p = σ(w·x), L = −[y·log p + (1 − y)·log(1 − p)]. Производные сигмоиды и логарифма сокращаются, и градиент равен (p − y)·x — ошибка прогноза, умноженная на признак.
Оптимизаторы:
- SGD: w ← w − lr·g;
- момент: v ← β·v + g; w ← w − lr·v;
- Adam: средние m (градиент) и v (квадрат градиента) с поправкой на смещение; w ← w − lr·m / (√v + ε);
- AdamW — Adam с правильной регуляризацией весов.
Что хотят услышать
- Цепное правило и порядок вычислений.
- Градиент логистической регрессии.
- Момент и адаптивный шаг Adam.
Проверьте себя
Один верный вариант. Подумайте, потом откройте ответ.
Показать варианты и ответ
- ✗Обратное распространение подбирает learning rate для каждого слоя
- ✗Градиенты считаются от входа к выходу независимо для каждого веса
- ✗Обратное распространение подбирает learning rate для каждого слоя отдельно, а Adam затем усредняет эти шаги, чтобы все веса менялись одинаково
- ✓Цепное правило от выхода к входу; Adam адаптирует шаг каждого параметра
Связанные вопросы
Разбор собеседования с sotto
После собеседования sotto разбирает разговор: оценка, каждый вопрос — хорошо, частично или слабо, чего не хватило в ответе и над чем поработать к следующему разу. Первые 30 минут бесплатно.