Что такое p-value и как работает проверка статистических гипотез?

Процедура:

1. До эксперимента: гипотезы, метрика, уровень α, размер выборки.
2. Собрать данные.
3. Посчитать статистику теста (t-тест, z-тест для долей, хи-квадрат, Манна-Уитни) и p-value.
4. Сравнить с α и сделать вывод.

Пример интерпретации. p = 0,03: если бы новая кнопка не влияла на конверсию, различие не меньше наблюдаемого получалось бы примерно в 3% случаев из-за случайности. Это достаточно редко, чтобы при α = 0,05 считать эффект реальным.

Типичные неверные трактовки:

• «вероятность, что эффект случаен, — 3%»;
• «вероятность, что новая версия лучше, — 97%»;
• p = 0,06 — «почти значимо, давайте добавим данных» — это подгонка.

Выбор теста: доли — z-тест или хи-квадрат; средние при больших выборках — t-тест (ЦПТ); сильно скошенные метрики — бутстреп или непараметрические тесты (с осторожностью: Манна-Уитни проверяет не равенство средних).