Что такое SRM (sample ratio mismatch) и почему это повод не доверять результатам теста?
- Группы в A/B-тесте получились разного размера — это проблема?
SRM — наблюдаемое соотношение групп статистически отличается от запланированного (50/50 стало 50,8/49,2 на миллионе пользователей). Это признак сломанной рандомизации или трекинга, и сравнение групп становится нечестным: в одну попали или потерялись определённые пользователи. Проверяют хи-квадрат тестом; при SRM результаты не используют, пока не найдена причина.
- Порог для проверки SRM строгий (например, p < 0,001)
- Причины: редиректы, падения в одной версии, боты, кэширование, разные условия попадания в выборку
- Небольшая разница в абсолютных числах на больших выборках может быть значима
А ещё Хорошие платформы проверяют SRM автоматически и блокируют анализ
Подробно
Пример причин:
- новая версия страницы медленнее грузится, и часть пользователей уходит до отправки события показа — их нет в данных группы B;
- тест включается редиректом, а часть браузеров его не проходит;
- фильтрация ботов срабатывает по-разному в группах;
- пользователи в группе B чаще падают с ошибкой и перезаходят с новым идентификатором;
- в группу «попадают» по событию, которое зависит от изменения (триггер появился только в новой версии).
Проверка: хи-квадрат по фактическим и ожидаемым размерам групп. На 1 000 000 пользователей отклонение 50,5/49,5 уже крайне неслучайно.
Почему нельзя игнорировать. Пропавшие пользователи не случайны — например, самые нетерпеливые. Без них группа B выглядит лучше, чем есть. Поэтому эффект в эксперименте с SRM не интерпретируют.
Что хотят услышать
- Определение и проверка SRM.
- Типичные причины.
- Почему результаты при SRM недостоверны.
Проверьте себя
Один верный вариант. Подумайте, потом откройте ответ.
Показать варианты и ответ
- ✗При SRM достаточно перевзвесить группы до плановой пропорции и дальше использовать результаты теста как обычно
- ✓Соотношение групп значимо отличается от плана — рандомизация или трекинг сломаны; результатам не доверяют
- ✗Небольшой перекос групп при миллионе пользователей неважен
- ✗SRM — признак слишком большого трафика
Связанные вопросы
Разбор собеседования с sotto
После собеседования sotto разбирает разговор: оценка, каждый вопрос — хорошо, частично или слабо, чего не хватило в ответе и над чем поработать к следующему разу. Первые 30 минут бесплатно.