Как выбрать единицу рандомизации в A/B-тесте — пользователь, сессия, город?
- Почему нельзя рандомизировать по сессиям?
Единица рандомизации — то, что случайно попадает в группу: обычно пользователь, чтобы он всё время видел один вариант. Сессия или просмотр — только для изменений, которые пользователь не заметит между визитами (например, ранжирование), иначе опыт смешивается. Город, магазин, курьер — когда пользователи влияют друг на друга (маркетплейс, такси): иначе группы «перетекают» друг в друга. Чем крупнее единица, тем меньше единиц и тем больше нужно времени для значимости.
- Метрику анализируют на уровне единицы рандомизации или учитывают зависимость
- Неавторизованные пользователи — по устройству или cookie, с риском дублей
- Единицу выбирают до запуска вместе с метрикой
А ещё Пример ошибки: цены рандомизируют по сессиям — пользователь видит разные цены и теряет доверие
Подробно
Как выбирать:
- пользователь заметит разницу между визитами? — по пользователям;
- группы влияют друг на друга через общий ресурс (курьеры, продавцы, лента друзей)? — по кластерам (город, время);
- изменение невидимо и метрика на уровне показа? — можно по показам или сессиям.
Следствия для анализа. Если рандомизировали по пользователям, а метрика — средний чек по заказам, заказы одного пользователя зависимы: нужен дельта-метод или бутстреп по пользователям.
Что хотят услышать
- Пользователь как типичная единица.
- Когда сессия, когда кластер.
- Связь единицы с анализом и длительностью.
Проверьте себя
Один верный вариант. Подумайте, потом откройте ответ.
Показать варианты и ответ
- ✗Чем крупнее единица рандомизации (город вместо пользователя), тем быстрее тест достигает значимости: в каждой единице больше наблюдений
- ✗Всегда рандомизировать по просмотрам страниц — так больше наблюдений
- ✓Обычно пользователь; кластер (город) — если группы влияют друг на друга; сессия — для незаметных изменений
- ✗Единицу рандомизации выбирают после теста по удобству анализа
Связанные вопросы
Разбор собеседования с sotto
После собеседования sotto разбирает разговор: оценка, каждый вопрос — хорошо, частично или слабо, чего не хватило в ответе и над чем поработать к следующему разу. Первые 30 минут бесплатно.