Производные, градиент, цепное правило и градиентный спуск.
Практика. Реализовать градиентный спуск для линейной регрессии и построить кривую потерь при трёх значениях шага.
Практика. Вывести градиент логистической регрессии и реализовать её обучение на NumPy с проверкой градиента численно.
Войдите, чтобы пройти тест: сданный тест отмечает тему пройденной на карте и в ИПР.
Градиентный спуск минимизирует функцию потерь, шаг за шагом сдвигая параметры против градиента — в сторону наибольшего уменьшения ошибки. Learning rate — размер шага: слишком большой — расходится или скачет, слишком маленький — учится очень долго.
Полный разборНейросеть — композиция слоёв: каждый делает линейное преобразование (веса и смещение) и нелинейную функцию активации (ReLU, GELU). Без нелинейности любая глубина схлопнулась бы в одну линейную функцию. Обучение: прямой проход → функция потерь → обратное…
Полный разборПроизводная функции показывает, как быстро она меняется при малом изменении аргумента, и её знак — растёт функция или убывает. Градиент — вектор частных производных по всем параметрам: он указывает направление наибольшего роста функции. Обучение модели …
Полный разборТри опоры: линейная алгебра — данные это матрицы, модель — умножение матриц, эмбеддинги — векторы, сходство — скалярное произведение; математический анализ — градиент показывает, куда менять параметры, обучение — градиентный спуск; вероятность и статистика …
Полный разборОбратное распространение считает градиенты потерь по всем весам по цепному правилу: производная сложной функции — произведение производных звеньев. Сначала прямой проход сохраняет промежуточные значения, затем градиенты идут от выхода к входу, переиспользуя…
Полный разборПосле собеседования sotto разбирает разговор: оценка, каждый вопрос — хорошо, частично или слабо, чего не хватило в ответе и над чем поработать к следующему разу. Первые 30 минут бесплатно.