Проверка гипотез
Формулируют нулевую гипотезу (эффекта нет) и альтернативу. p-value — вероятность получить такие или более сильные различия, если нулевая гипотеза верна. Если p-value меньше заранее выбранного α (часто 0,05), нулевую гипотезу отвергают. p-value — не вероятность того, что гипотеза верна; «не значимо» не значит «эффекта нет» — возможно, не хватило данных.
Две ошибки и мощность
Ошибка I рода — найти эффект, которого нет (вероятность α). Ошибка II рода — пропустить существующий эффект. Мощность — вероятность обнаружить эффект заданного размера, стандарт 80 %. Она растёт с размером выборки и эффекта и падает с дисперсией метрики.
Дизайн A/B-теста
До запуска фиксируют: гипотезу, главную метрику и ограничители (что не должно ухудшиться), единицу рандомизации (обычно пользователь), размер выборки и длительность и критерий решения. Во время теста следят за здоровьем: совпадает ли соотношение групп с планом, работает ли трекинг.
Размер выборки
Он зависит от базового значения и дисперсии метрики, MDE — минимального эффекта, который важно заметить, — α и мощности. Маленькие эффекты дорогие: вдвое меньший MDE требует вчетверо большей выборки. Длительность округляют до целых недель, чтобы покрыть недельную сезонность.
Подглядывание
p-value колеблется по ходу теста. Если проверять его каждый день и остановиться на первом p < 0,05, доля ложных срабатываний вырастает с 5 % до 20–30 %. Правильно — зафиксировать выборку и смотреть один раз или использовать последовательные методы, рассчитанные на промежуточные проверки.
Итог
- p-value — про данные при верной нулевой гипотезе.
- Мощность и MDE определяют размер выборки.
- Всё важное фиксируют до запуска.
- Не останавливать тест на первой значимости.