Как подбирать гиперпараметры модели?
- Чем grid search отличается от random search и байесовской оптимизации?
Гиперпараметры задают до обучения (глубина, learning rate, регуляризация), подбирают по качеству на валидации. Grid search перебирает сетку — дорого и неэффективно; random search случайные комбинации — лучше при многих параметрах; байесовская оптимизация (Optuna) выбирает следующие точки по результатам прошлых — экономнее всего.
- Подбор — на валидации или кросс-валидации, тест не трогают
- Ранняя остановка и прунинг плохих попыток экономят время
- Важных параметров обычно 2–3, остальные дают малый прирост
А ещё Подгонка под валидацию тоже переобучение — финальная оценка на отложенном тесте
Подробно
Почему random лучше grid. Если важен один параметр из пяти, сетка 5×5×5×5×5 проверит всего пять его значений, а 3125 случайных точек — 3125 разных значений. Так что при том же бюджете random search исследует важные оси лучше.
Байесовская оптимизация. Строится модель зависимости качества от параметров (TPE в Optuna, гауссовы процессы), следующая попытка выбирается там, где ожидается улучшение. Прунинг останавливает неперспективные попытки на ранних эпохах.
Практика:
- начать с параметров по умолчанию и сильного baseline;
- логарифмическая шкала для learning rate и регуляризации;
- фиксировать seed и логировать все попытки (MLflow, Optuna dashboard);
- помнить про переобучение на валидацию при сотнях попыток.
Что хотят услышать
- Различие трёх подходов.
- Почему random эффективнее grid.
- Защита от переобучения на валидацию.
Проверьте себя
Один верный вариант. Подумайте, потом откройте ответ.
Показать варианты и ответ
- ✗Гиперпараметры подбирают по качеству на тестовой выборке
- ✗Гиперпараметры модель находит сама в процессе обучения
- ✓На валидации; random search лучше сетки, Optuna — экономнее всего
- ✗Grid search эффективнее всех при большом числе параметров
Связанные вопросы
Разбор собеседования с sotto
После собеседования sotto разбирает разговор: оценка, каждый вопрос — хорошо, частично или слабо, чего не хватило в ответе и над чем поработать к следующему разу. Первые 30 минут бесплатно.