Как рассчитать размер выборки и длительность A/B-теста?
- Сколько пользователей нужно, чтобы заметить рост конверсии на 2%?
Размер выборки зависит от базового значения и дисперсии метрики, MDE (минимального эффекта, который важно заметить), α и мощности. Для долей приближённо: n на группу ≈ 16·p(1 − p) / δ² при α = 0,05 и мощности 80%, где δ — абсолютный эффект. Длительность = n / трафик в день, округлённая вверх до целых недель.
- Маленькие эффекты дорогие: вдвое меньший MDE — вчетверо больше выборка
- Относительный рост 2% от конверсии 5% — это 0,1 п. п. абсолютно
- Если нужной выборки не набрать — увеличить MDE, сменить метрику на более чувствительную или снизить дисперсию
А ещё Калькуляторы и statsmodels делают точный расчёт; формула 16σ²/δ² — для оценки в уме
Подробно
Пример. Конверсия 5%, хотим заметить рост до 5,5% (относительно +10%, δ = 0,005):
n ≈ 16 · 0,05 · 0,95 / 0,005² ≈ 30 400 пользователей на группу.
При 10 000 новых пользователей в день на тест с двумя группами — около 6 дней; округляем до 7, чтобы покрыть недельный цикл.
Тот же тест для +2% относительно (δ = 0,001) — уже около 760 000 на группу: многие продукты такой эффект в разумные сроки не увидят.
Откуда 16: (z₁₋α/₂ + z₁₋β)² ≈ (1,96 + 0,84)² ≈ 7,85, и для двух групп множитель удваивается.
Практика:
- MDE выбирают из бизнеса: какой эффект окупит внедрение;
- для непрерывных метрик (выручка) нужна дисперсия из исторических данных — она часто огромна;
- не останавливать тест раньше расчётной выборки, даже если «уже значимо».
Что хотят услышать
- Факторы, определяющие размер выборки.
- Оценка по формуле и пересчёт в длительность.
- Как MDE связан с бизнес-решением.
Проверьте себя
Один верный вариант. Подумайте, потом откройте ответ.
Показать варианты и ответ
- ✗Выборка определяется в основном MDE: вдвое меньший эффект требует вдвое большей выборки, длительность — любое число дней
- ✗Размер выборки не зависит от дисперсии метрики
- ✗Тест достаточно вести, пока результат не станет значимым
- ✓От базового уровня и дисперсии метрики, MDE, α и мощности; длительность — выборка / трафик, целыми неделями
Разбор темы
- Статистика и A/B-тесты
Проверка гипотез и p-value, ошибки первого и второго рода, дизайн A/B-теста, размер выборки и почему нельзя подглядывать.
Связанные вопросы
Разбор собеседования с sotto
После собеседования sotto разбирает разговор: оценка, каждый вопрос — хорошо, частично или слабо, чего не хватило в ответе и над чем поработать к следующему разу. Первые 30 минут бесплатно.