Как спроектировать A/B-тест от гипотезы до решения?
- Что нужно определить до запуска A/B-теста?
До запуска: гипотеза (что меняем и почему это должно сработать), главная метрика и ограничители (guardrails), единица рандомизации (пользователь, сессия, город), размер выборки и длительность по MDE, критерий решения. Во время — проверки здоровья (SRM, трекинг). После — анализ по заранее заданному плану и решение с учётом бизнес-контекста.
- Длительность — целое число недель, чтобы покрыть недельную сезонность
- Одна главная метрика, чувствительная и связанная с целью бизнеса
- Рандомизация по пользователю, если изменение заметно на протяжении визитов
А ещё Записывают дизайн до старта — это защищает от подгонки выводов
Подробно
Шаблон дизайна:
- Гипотеза: «Если показать доставку на карточке товара, больше пользователей добавят товар в корзину, потому что снимется неопределённость».
- Метрики: главная — конверсия в добавление в корзину; вторичные — конверсия в заказ, средний чек; ограничители — выручка, скорость загрузки страницы, обращения в поддержку.
- Единица и доля трафика: пользователи, 50/50, сегмент — все страны или только Россия.
- Размер выборки: из базовой конверсии, MDE, α = 0,05 и мощности 80%.
- Длительность: не меньше недели и до набора выборки; заранее — без «остановлю, когда станет значимо».
- Решение: что делаем при положительном, нейтральном и отрицательном результате.
Во время теста — проверить, что группы получились нужного размера (SRM), события отправляются в обеих группах, нет технических ошибок.
Анализ: эффект с доверительным интервалом, а не только p-value; ограничители; сегменты — как гипотезы, а не как основание для решения.
Что хотят услышать
- Элементы дизайна до запуска.
- Главная метрика и ограничители.
- Размер выборки, длительность и правило остановки.
- Проверки во время теста.
Проверьте себя
Один верный вариант. Подумайте, потом откройте ответ.
Показать варианты и ответ
- ✗Запустить тест на многих метриках, а главную выбрать по результатам — там, где эффект заметнее и значимость выше
- ✓До запуска: гипотеза, главная метрика и ограничители, единица рандомизации, выборка по MDE, критерий решения
- ✗Длительность выбирать в днях без учёта недельной сезонности
- ✗Главных метрик должно быть как можно больше
Что спросят дальше
Разбор темы
- Статистика и A/B-тесты
Проверка гипотез и p-value, ошибки первого и второго рода, дизайн A/B-теста, размер выборки и почему нельзя подглядывать.
Связанные вопросы
Разбор собеседования с sotto
После собеседования sotto разбирает разговор: оценка, каждый вопрос — хорошо, частично или слабо, чего не хватило в ответе и над чем поработать к следующему разу. Первые 30 минут бесплатно.