Зачем делить данные на обучающую, валидационную и тестовую выборки?

Оценка на данных, которые модель видела при обучении, ничего не говорит о работе на новых. Поэтому данные делят:

• train — обучение модели;
• validation — выбор модели и гиперпараметров, ранняя остановка;
• test — финальная оценка, к которой не прикасаются до конца. Если многократно подбирать решения по тестовой выборке, она перестаёт быть независимой.

Типичные пропорции — около 70/15/15 или 80/10/10, зависит от объёма.

Кросс-валидация (k-fold) — данные делят на k частей, по очереди каждая служит валидацией, остальные — обучением; метрики усредняют. Даёт более надёжную оценку на небольших данных.

Особые случаи разбиения:

• временные ряды — делить по времени: обучаться на прошлом, проверять на будущем;
• несбалансированные классы — стратифицированное разбиение с сохранением долей классов;
• группы — записи одного пользователя целиком в одной выборке.

Утечка данных — признаки, которые знают ответ или «будущее»: нормировка по всем данным до разбиения, дубли между выборками, признак, вычисленный после события. Модель показывает отличный результат на тесте и проваливается в работе.