Что важно знать
- Метрика, единица рандомизации и размер выборки — до запуска.
- Подглядывание и ранняя остановка завышают ложные срабатывания.
- SRM — неравное деление групп — повод не доверять результату.
- Метрики-отношения требуют особых методов.
Этап 5 из 14 · ≈ 6 ч
A/B-тесты
Основа с Junior
Дизайн эксперимента, размер выборки, подглядывание, SRM, CUPED и метрики-отношения.
Критерии освоения
Junior ≈ 6 ч
- Проектирует A/B-тест — гипотеза, метрика, единица рандомизации, критерий
Практика. Описать дизайн A/B-теста новой кнопки оформления заказа с метриками и критериями.
Middle ≈ 10 ч
- Рассчитывает размер выборки и длительность теста
- Находит проблемы — подглядывание, SRM, множественные сравнения, эффект новизны
- Анализирует метрики-отношения дельта-методом или бутстрапом
Практика. Проанализировать результаты учебного теста с проверкой SRM и анализом среднего чека бутстрапом.
Senior ≈ 6 ч
- Ускоряет эксперименты снижением дисперсии (CUPED) и выстраивает процесс экспериментов в компании
Практика. Применить CUPED к данным теста и показать сокращение необходимой длительности.
Проверка знаний
Войдите, чтобы пройти тест: сданный тест отмечает тему пройденной на карте и в ИПР.
Вопросы с собеседований
Смотреть всеКак спроектировать A/B-тест от гипотезы до решения?Junior
До запуска: гипотеза (что меняем и почему это должно сработать), главная метрика и ограничители (guardrails), единица рандомизации (пользователь, сессия, город), размер выборки и длительность по MDE, критерий решения. Во время — проверки здоровья (SRM…
Полный разборКакие эффекты искажают результаты A/B-тестов — новизна, сетевые эффекты, сезонность?Middle
Эффект новизны — пользователи активно пробуют новое, и эффект угасает; эффект привыкания (primacy) — наоборот, сначала сопротивление. Сетевые эффекты и интерференция — группы влияют друг на друга (маркетплейс, соцсеть, такси): рандомизация по пользователям…
Полный разборКак анализировать метрики-отношения (средний чек, CTR) и метрики с длинным хвостом в A/B-тесте?Senior
Если единица рандомизации — пользователь, а метрика считается по заказам или кликам (средний чек = выручка / число заказов, CTR = клики / показы), наблюдения внутри пользователя зависимы, и обычный t-тест занижает дисперсию — растут ложные срабатывания…
Полный разборКак рассчитать размер выборки и длительность A/B-теста?Middle
Размер выборки зависит от базового значения и дисперсии метрики, MDE (минимального эффекта, который важно заметить), α и мощности. Для долей приближённо: n на группу ≈ 16p(1 − p) / δ² при α = 0,05 и мощности 80%, где δ — абсолютный эффект. Длительность = n /…
Полный разборЧто такое CUPED и как ускорить A/B-тесты без увеличения трафика?Senior
CUPED использует данные пользователя до эксперимента (например, его выручку за прошлый месяц): из метрики вычитают часть, объяснимую этой ковариатой: Y' = Y − θ(X − X̄). Эффект не смещается, а дисперсия снижается на долю, равную квадрату корреляции X и Y …
Полный разборЧто такое проблема множественных сравнений?Middle
При α = 0,05 каждый тест даёт 5% ложных срабатываний. Проверив 20 метрик или сегментов, вы с вероятностью около 64% найдёте хотя бы одну «значимую» случайно. Лечение: одна главная метрика, заранее заданная; поправки — Бонферрони (α/k, строго) или…
Полный разборЧто такое p-value и как работает проверка статистических гипотез?Junior
Формулируют нулевую гипотезу (эффекта нет) и альтернативу. p-value — вероятность получить такие или ещё более сильные различия, если нулевая гипотеза верна. Если p-value меньше заранее выбранного уровня α (часто 0,05) — отвергаем нулевую гипотезу.
Полный разборЧем корреляция отличается от причинно-следственной связи?Junior
Корреляция — совместное изменение величин; причинность — изменение одной вызывает изменение другой. Корреляция возникает и без причинности: общая причина (конфаундер), обратная причинность, отбор данных, случайность. Причинность надёжно устанавливает…
Полный разборКак выбрать единицу рандомизации в A/B-тесте — пользователь, сессия, город?Junior
Единица рандомизации — то, что случайно попадает в группу: обычно пользователь, чтобы он всё время видел один вариант. Сессия или просмотр — только для изменений, которые пользователь не заметит между визитами (например, ранжирование), иначе опыт смешивается…
Полный разборЧто такое SRM (sample ratio mismatch) и почему это повод не доверять результатам теста?Middle
SRM — наблюдаемое соотношение групп статистически отличается от запланированного (50/50 стало 50,8/49,2 на миллионе пользователей). Это признак сломанной рандомизации или трекинга, и сравнение групп становится нечестным: в одну попали или потерялись…
Полный разборРазборы темы
- Статистика и A/B-тесты
Проверка гипотез и p-value, ошибки первого и второго рода, дизайн A/B-теста, размер выборки и почему нельзя подглядывать.
Партнёр платформы
Разбор собеседования
Разбор собеседования с sotto
После собеседования sotto разбирает разговор: оценка, каждый вопрос — хорошо, частично или слабо, чего не хватило в ответе и над чем поработать к следующему разу. Первые 30 минут бесплатно.