Что такое производная и градиент и как они используются в обучении моделей?
- Зачем в машинном обучении производные?
Производная функции показывает, как быстро она меняется при малом изменении аргумента, и её знак — растёт функция или убывает. Градиент — вектор частных производных по всем параметрам: он указывает направление наибольшего роста функции. Обучение модели — минимизация функции потерь, поэтому параметры сдвигают против градиента на шаг learning rate: w ← w − lr·∇L.
- В точке минимума градиент равен нулю
- Частная производная — по одному параметру при фиксированных остальных
- Производные считают автоматически (autograd в PyTorch), вручную — для понимания
А ещё Пример: L = (w·x − y)², dL/dw = 2x·(w·x − y)
Подробно
Интуиция. Стоите на склоне в тумане и хотите спуститься. Градиент — направление самого крутого подъёма; шаг в обратную сторону ведёт вниз. Длина шага — learning rate.
Пример. Модель y = w·x, одна точка x = 2, y = 6, сейчас w = 1. Потери L = (2w − 6)² = 16. Производная dL/dw = 2·2·(2w − 6) = −16. Шаг с lr = 0,05: w = 1 − 0,05·(−16) = 1,8. Потери стали (3,6 − 6)² = 5,76 — уменьшились.
Где пригодится: понимать, почему обучение расходится, зачем масштабировать признаки, как работает обратное распространение.
Что хотят услышать
- Смысл производной и градиента.
- Шаг против градиента.
- Простой пример вычисления.
Проверьте себя
Один верный вариант. Подумайте, потом откройте ответ.
Показать варианты и ответ
- ✗Градиент указывает направление наибольшего убывания функции потерь
- ✓Градиент — направление роста; шаг делают против него
- ✗Градиент указывает направление наибольшего убывания потерь, поэтому параметры сдвигают вдоль него на шаг learning rate
- ✗Производные в обучении нейросетей всегда считают вручную
Связанные вопросы
Разбор собеседования с sotto
После собеседования sotto разбирает разговор: оценка, каждый вопрос — хорошо, частично или слабо, чего не хватило в ответе и над чем поработать к следующему разу. Первые 30 минут бесплатно.