Что такое CUPED и как ускорить A/B-тесты без увеличения трафика?
- Как снизить дисперсию метрики в эксперименте?
CUPED использует данные пользователя до эксперимента (например, его выручку за прошлый месяц): из метрики вычитают часть, объяснимую этой ковариатой: Y' = Y − θ·(X − X̄). Эффект не смещается, а дисперсия снижается на долю, равную квадрату корреляции X и Y — тест требует меньше выборки.
- Ковариата должна быть измерена до начала теста и не зависеть от варианта
- Корреляция 0,7 даёт снижение дисперсии примерно на 50% — вдвое меньше выборки
- Новые пользователи без истории не выигрывают — для них другие ковариаты
А ещё Другие способы: стратификация, исключение нечувствительных пользователей, более чувствительные прокси-метрики
Подробно
Идея. Большая часть разброса выручки между пользователями — постоянные различия: одни тратят много всегда, другие мало. Эти различия не связаны с вариантом теста, но шумят. Если вычесть «ожидаемую» по прошлому поведению часть, остаётся меньше шума.
Расчёт: θ = cov(X, Y) / var(X) по объединённым данным; новая метрика Y' считается для каждого пользователя; дальше обычный тест на Y'. Средние разности Y и Y' между группами совпадают в ожидании, потому что X не зависит от группы.
Другие приёмы:
- стратификация — рандомизация или анализ внутри слоёв (платформа, страна);
- триггерный анализ — учитывать только пользователей, которые реально увидели изменение;
- чувствительная метрика — конверсия в добавление в корзину откликается быстрее, чем выручка;
- винзоризация выбросов.
Что хотят услышать
- Идея CUPED и требования к ковариате.
- Связь снижения дисперсии с корреляцией.
- Другие способы повысить чувствительность.
Проверьте себя
Один верный вариант. Подумайте, потом откройте ответ.
Показать варианты и ответ
- ✗Ковариату берут из периода эксперимента: она сильнее коррелирует с метрикой, поэтому дисперсия падает ещё больше
- ✗CUPED сдвигает оценку эффекта в пользу тестовой группы, и это смещение потом вычитают
- ✓Вычитают часть метрики, объяснимую данными до теста: смещения нет, дисперсия ниже
- ✗CUPED требует удвоить трафик: половина пользователей нужна только для расчёта ковариаты
Связанные вопросы
Разбор собеседования с sotto
После собеседования sotto разбирает разговор: оценка, каждый вопрос — хорошо, частично или слабо, чего не хватило в ответе и над чем поработать к следующему разу. Первые 30 минут бесплатно.