Как работают линейная и логистическая регрессия?
- Почему логистическая регрессия — это классификация?
- Как интерпретировать коэффициенты логистической регрессии?
Линейная регрессия предсказывает число как взвешенную сумму признаков, веса подбираются минимизацией среднеквадратичной ошибки. Логистическая регрессия — это классификация: ту же взвешенную сумму пропускают через сигмоиду и получают вероятность класса от 0 до 1; обучают на логистической функции потерь (log loss).
- Класс выбирают порогом вероятности — по умолчанию 0,5, но его подбирают под задачу
- Коэффициент логистической регрессии — изменение логарифма шансов при росте признака на единицу
- Быстрые, интерпретируемые, сильный базовый уровень (baseline)
А ещё Нелинейности добавляют признаками: взаимодействия, полиномы, бинирование
Подробно
Линейная регрессия: ŷ = w₀ + w₁x₁ + … + wₙxₙ. Веса находят аналитически (нормальное уравнение) или градиентным спуском, минимизируя MSE. Предположения: линейная зависимость, независимые ошибки; выбросы сильно влияют на результат.
Логистическая регрессия: p = σ(w·x), где σ(z) = 1 / (1 + e⁻ᶻ). Сигмоида превращает любое число в вероятность. Функция потерь — log loss: сильно штрафует уверенные ошибки. Граница решений линейна.
Интерпретация: при росте признака на единицу шансы (p / (1 − p)) умножаются на e^w. Поэтому модель популярна там, где решение нужно объяснить: кредитный скоринг, медицина.
Почему с неё начинают. Это быстрый и понятный baseline: если бустинг выигрывает у логистической регрессии всего пару процентов, сложность может не окупиться.
Многоклассовый случай — softmax вместо сигмоиды или схема «один против всех».
Что хотят услышать
- Устройство обеих моделей.
- Сигмоида, вероятность и порог.
- Интерпретируемость и роль baseline.
Проверьте себя
Один верный вариант. Подумайте, потом откройте ответ.
Показать варианты и ответ
- ✓Линейная — взвешенная сумма; логистическая — вероятность через сигмоиду
- ✗Логистическая регрессия предсказывает непрерывное число
- ✗Порог 0,5 в логистической регрессии менять нельзя
- ✗Линейная регрессия обучается на log loss, а логистическая — на MSE
Разбор темы
- Основы машинного обучения — задачи, выборки и первые модели
Какие бывают задачи ML, зачем делить данные на выборки, что такое переобучение и как обучаются линейная и логистическая регрессия.
Связанные вопросы
Разбор собеседования с sotto
После собеседования sotto разбирает разговор: оценка, каждый вопрос — хорошо, частично или слабо, чего не хватило в ответе и над чем поработать к следующему разу. Первые 30 минут бесплатно.