Что такое утечка данных (data leakage) в машинном обучении?

Примеры:

• модель оттока использует признак «дата расторжения договора» — он известен только после ухода клиента;
• модель одобрения кредита обучена на признаке «сумма просрочки», который появляется уже после выдачи;
• прогноз продаж с перемешанными днями: модель видит соседние дни из будущего;
• target encoding категорий посчитан по всей выборке, включая тест;
• снимки одного пациента и в обучении, и в тесте — модель узнаёт пациента, а не болезнь.

Как ловить:

• важность признаков: один признак объясняет почти всё — проверить его происхождение;
• метрика неправдоподобно высокая для задачи;
• разрыв между офлайн-метрикой и онлайн-результатом.

Как предотвращать:

• для каждого признака фиксировать момент, когда он становится известен, и строить выборку «на момент прогноза» (point-in-time);
• вся предобработка — внутри Pipeline и кросс-валидации;
• разбиение по времени и группам.