Какие эффекты искажают результаты A/B-тестов — новизна, сетевые эффекты, сезонность?
- Почему результат эксперимента не повторился после выкатки?
Эффект новизны — пользователи активно пробуют новое, и эффект угасает; эффект привыкания (primacy) — наоборот, сначала сопротивление. Сетевые эффекты и интерференция — группы влияют друг на друга (маркетплейс, соцсеть, такси): рандомизация по пользователям даёт смещённый результат. Сезонность и внешние события — короткий тест в нетипичный период не обобщается.
- Против новизны — смотреть динамику эффекта по дням и на новых пользователях
- Против интерференции — рандомизация по кластерам, городам или времени (switchback)
- Долгосрочный эффект проверяют удерживающей группой (holdout)
А ещё Обучающиеся системы (рекомендации) меняют данные под себя — тесты моделей сложнее
Подробно
Новизна и привыкание. Новая кнопка яркого цвета получает больше кликов первые дни просто потому, что заметна. Смотрят график эффекта по дням теста и отдельно по пользователям, впервые увидевшим продукт уже в новой версии.
Интерференция. В маркетплейсе скидка для группы B забирает товар у группы A — B «выигрывает» частично за счёт A, и после выкатки на всех эффекта нет. В такси больше заказов в одной группе уменьшает свободных водителей для другой. Решения:
- кластерная рандомизация — по городам, магазинам, группам друзей;
- switchback — весь город переключается между вариантами по временным интервалам;
- оценка эффекта на уровне рынка.
Holdout. Небольшая доля пользователей надолго остаётся без изменений, чтобы измерить накопленный долгосрочный эффект серии выкатов.
Что хотят услышать
- Эффекты новизны и привыкания.
- Интерференция и способы рандомизации.
- Сезонность и долгосрочный holdout.
Проверьте себя
Несколько верных вариантов. Подумайте, потом откройте ответ.
Показать варианты и ответ
- ✓Эффект новизны: интерес к новому со временем угасает
- ✗Большой трафик искажает результат сильнее малого: шум растёт вместе с числом пользователей
- ✓Сетевые эффекты: группы влияют друг на друга
- ✓Тест в нетипичный период (праздники) плохо обобщается
Связанные вопросы
Разбор собеседования с sotto
После собеседования sotto разбирает разговор: оценка, каждый вопрос — хорошо, частично или слабо, чего не хватило в ответе и над чем поработать к следующему разу. Первые 30 минут бесплатно.