Почему нельзя останавливать A/B-тест, как только результат стал значимым?
- Что такое проблема подглядывания (peeking)?
- Что такое последовательное тестирование?
p-value колеблется по ходу теста, и если проверять каждый день и остановиться на первом p < 0,05, доля ложных срабатываний вырастает с 5% до 20–30%. Это те же множественные сравнения во времени. Правильно: зафиксировать размер выборки и смотреть один раз — или применять последовательные методы, рассчитанные на промежуточные проверки.
- Смотреть на тест для контроля здоровья (SRM, ошибки) можно — нельзя принимать решение по значимости
- Последовательные методы: групповые последовательные планы (O'Brien-Fleming), always-valid p-values, mSPRT
- Ранняя остановка по ограничителю (метрика резко ухудшилась) допустима и нужна
А ещё Байесовский подход не освобождает от проблемы полностью — решения тоже должны быть спланированы
Подробно
Почему так. В начале теста данных мало, и случайные колебания большие. При ежедневной проверке у нулевого эффекта есть много шансов случайно «пересечь» порог значимости. Каждая проверка — ещё одна попытка выиграть в лотерею ложного открытия.
Решения:
- фиксированный горизонт — рассчитать выборку, анализировать один раз в конце;
- групповой последовательный план — заранее заданные точки проверки с более строгими порогами в начале (O'Brien-Fleming), общий уровень ошибки остаётся 5%;
- always-valid inference (mSPRT) — можно смотреть в любой момент; используется в экспериментальных платформах;
- правила остановки по вреду — отдельные ограничители для быстрого отключения неудачного варианта.
Связанная проблема — продление теста «ещё на недельку», потому что почти значимо. Это тоже подгонка.
Что хотят услышать
- Почему ранняя остановка повышает ложные срабатывания.
- Фиксированный горизонт и последовательные методы.
- Разница между мониторингом здоровья и решением.
Проверьте себя
Один верный вариант. Подумайте, потом откройте ответ.
Показать варианты и ответ
- ✗Подглядывать нельзя вообще, даже ради проверки SRM: любое промежуточное открытие результатов делает тест недействительным
- ✗Ранняя остановка экономит трафик без последствий
- ✓Остановка на первом p < 0,05 раздувает долю ложных срабатываний; фиксируют выборку или берут последовательные методы
- ✗p-value по ходу теста не меняется
Разбор темы
- Статистика и A/B-тесты
Проверка гипотез и p-value, ошибки первого и второго рода, дизайн A/B-теста, размер выборки и почему нельзя подглядывать.
Связанные вопросы
Разбор собеседования с sotto
После собеседования sotto разбирает разговор: оценка, каждый вопрос — хорошо, частично или слабо, чего не хватило в ответе и над чем поработать к следующему разу. Первые 30 минут бесплатно.