Тензоры, модели, цикл обучения, GPU, дообучение предобученных моделей.
nn.Module, оптимизатор, функция потерь.Практика. Дообучить предобученную модель изображений на своём наборе из 5 классов и добиться заданной точности с аугментациями.
Войдите, чтобы пройти тест: сданный тест отмечает тему пройденной на карте и в ИПР.
Нейросеть — композиция слоёв: каждый делает линейное преобразование (веса и смещение) и нелинейную функцию активации (ReLU, GELU). Без нелинейности любая глубина схлопнулась бы в одну линейную функцию. Обучение: прямой проход → функция потерь → обратное…
Полный разборДообучение — продолжение обучения готовой модели на своих примерах, чтобы закрепить формат, стиль или навык; LoRA обучает небольшие добавочные матрицы вместо всех весов.
Полный разборDataset отдаёт пример по индексу, DataLoader собирает батчи и перемешивает. Шаг обучения: optimizer.zero_grad() → прямой проход → loss → loss.backward() → optimizer.step(). Валидация — в режиме model.eval() (выключает dropout, фиксирует batchnorm) внутри…
Полный разборПредобученная модель уже умеет извлекать общие признаки (края и формы для изображений, смысл слов для текста). Её берут как основу, заменяют выходной слой под свои классы и дообучают на своих данных. Мало данных — заморозить основу и учить только голову…
Полный разборОбратное распространение считает градиенты потерь по всем весам по цепному правилу: производная сложной функции — произведение производных звеньев. Сначала прямой проход сохраняет промежуточные значения, затем градиенты идут от выхода к входу, переиспользуя…
Полный разборПосле собеседования sotto разбирает разговор: оценка, каждый вопрос — хорошо, частично или слабо, чего не хватило в ответе и над чем поработать к следующему разу. Первые 30 минут бесплатно.