Что важно знать
- Линейная регрессия минимизирует квадраты ошибок.
- Логистическая — сигмоида от линейной комбинации, обучается по кросс-энтропии.
- L1 обнуляет веса (отбор признаков), L2 уменьшает их.
- Сильная базовая линия и простая интерпретация.
Этап 7 из 14 · ≈ 8 ч
Линейные модели
Основа с Junior
Линейная и логистическая регрессия, регуляризация L1 и L2.
Критерии освоения
Junior ≈ 8 ч
- Обучает линейную и логистическую регрессию и интерпретирует коэффициенты
Практика. Построить модель цены квартир линейной регрессией с интерпретацией коэффициентов.
Middle ≈ 4 ч
- Объясняет регуляризацию L1 и L2 и её влияние на веса
- Объясняет, почему логистическая регрессия выдаёт вероятность и что такое калибровка
Практика. Сравнить L1, L2 и ElasticNet на данных с множеством коррелированных признаков и объяснить отличия весов.
Проверка знаний
Войдите, чтобы пройти тест: сданный тест отмечает тему пройденной на карте и в ИПР.
Вопросы с собеседований
Смотреть всеКак работают линейная и логистическая регрессия?Junior
Линейная регрессия предсказывает число как взвешенную сумму признаков, веса подбираются минимизацией среднеквадратичной ошибки. Логистическая регрессия — это классификация: ту же взвешенную сумму пропускают через сигмоиду и получают вероятность класса от 0 до…
Полный разборЧто такое регуляризация и чем L1 отличается от L2?Middle
Регуляризация добавляет к функции потерь штраф за большие веса, чтобы модель не подгонялась под шум. L2 (Ridge) — штраф за сумму квадратов: веса уменьшаются плавно, но не до нуля. L1 (Lasso) — штраф за сумму модулей: многие веса становятся ровно нулём, это…
Полный разборКак работает градиентный спуск и что такое learning rate?Junior
Градиентный спуск минимизирует функцию потерь, шаг за шагом сдвигая параметры против градиента — в сторону наибольшего уменьшения ошибки. Learning rate — размер шага: слишком большой — расходится или скачет, слишком маленький — учится очень долго.
Полный разборЗачем делить данные на обучающую, валидационную и тестовую выборки?Junior
Обучающая — на ней модель учится, валидационная — подбираем параметры и сравниваем модели, тестовая — один раз в конце для честной оценки.
Полный разборЗачем масштабировать признаки и как кодировать категориальные признаки?Junior
Масштабирование (StandardScaler, MinMaxScaler) нужно моделям, чувствительным к расстояниям и величине весов: линейным с регуляризацией, k-means, kNN, нейросетям. Деревьям оно не нужно. Категории кодируют one-hot (столбец на значение — для небольшого числа…
Полный разборКак работает обратное распространение ошибки и чем отличаются SGD с моментом и Adam?Middle
Обратное распространение считает градиенты потерь по всем весам по цепному правилу: производная сложной функции — произведение производных звеньев. Сначала прямой проход сохраняет промежуточные значения, затем градиенты идут от выхода к входу, переиспользуя…
Полный разборРазборы темы
- Основы машинного обучения — задачи, выборки и первые модели
Какие бывают задачи ML, зачем делить данные на выборки, что такое переобучение и как обучаются линейная и логистическая регрессия.
Партнёр платформы
Разбор собеседования
Разбор собеседования с sotto
После собеседования sotto разбирает разговор: оценка, каждый вопрос — хорошо, частично или слабо, чего не хватило в ответе и над чем поработать к следующему разу. Первые 30 минут бесплатно.