Optuna и кросс-валидация, важность признаков, SHAP и объяснение модели заказчику.
Практика. Подобрать параметры бустинга в Optuna и построить SHAP-объяснения для пяти предсказаний.
Практика. Подготовить для заказчика объяснение модели кредитного скоринга с ограничениями и рисками.
Войдите, чтобы пройти тест: сданный тест отмечает тему пройденной на карте и в ИПР.
Гиперпараметры задают до обучения (глубина, learning rate, регуляризация), подбирают по качеству на валидации. Grid search перебирает сетку — дорого и неэффективно; random search случайные комбинации — лучше при многих параметрах; байесовская оптимизация…
Полный разборГлобальная важность показывает, какие признаки в целом влияют на модель; локальная — почему модель приняла конкретное решение. SHAP раскладывает прогноз на вклады признаков на основе значений Шепли из теории игр: сумма вкладов плюс базовое значение равна…
Полный разборK-fold: данные делят на k частей, модель обучают k раз, каждый раз оставляя одну часть для проверки, и усредняют метрику — оценка надёжнее одного разбиения. Для временных данных перемешивать нельзя: обучаются на прошлом, проверяются на будущем (скользящее…
Полный разборПереобучение — модель запомнила обучающие данные вместе с шумом и плохо работает на новых; недообучение — модель слишком простая и плоха даже на обучающих.
Полный разборКак строится дерево, чем случайный лес отличается от бустинга, как выбрать между XGBoost, LightGBM и CatBoost и как объяснить прогноз.
После собеседования sotto разбирает разговор: оценка, каждый вопрос — хорошо, частично или слабо, чего не хватило в ответе и над чем поработать к следующему разу. Первые 30 минут бесплатно.