Как анализировать метрики-отношения (средний чек, CTR) и метрики с длинным хвостом в A/B-тесте?
- Что такое дельта-метод?
- Когда использовать бутстреп?
Если единица рандомизации — пользователь, а метрика считается по заказам или кликам (средний чек = выручка / число заказов, CTR = клики / показы), наблюдения внутри пользователя зависимы, и обычный t-тест занижает дисперсию — растут ложные срабатывания. Решения: дельта-метод (аналитическая дисперсия отношения), бутстреп по пользователям, линеаризация.
- Для выручки на пользователя с выбросами — винзоризация или бутстреп
- Бутстреп пересэмплирует единицы рандомизации, а не отдельные события
- Медиану сравнивают бутстрепом — у неё нет простой формулы дисперсии
А ещё Платформы экспериментов (в том числе внутренние в крупных компаниях) применяют дельта-метод по умолчанию
Подробно
Проблема. У одного пользователя 20 заказов, у другого — один. Если считать каждый заказ независимым наблюдением, выборка выглядит больше, чем есть, и доверительный интервал слишком узкий.
Дельта-метод — дисперсия отношения средних X̄/Ȳ по пользователям через линейное приближение: учитывает дисперсии числителя, знаменателя и их ковариацию. Быстрый и точный при больших выборках.
Линеаризация — для каждого пользователя считают x − R·y (R — отношение в контроле); получается метрика на уровне пользователя, к которой применим t-тест и CUPED.
Бутстреп — многократно пересэмплировать пользователей с повторениями, пересчитать метрику, взять перцентили распределения разницы. Универсален (медианы, квантили, сложные метрики), но дорог по вычислениям.
Длинные хвосты (выручка): несколько огромных покупок дают большую дисперсию и нестабильный результат — помогает винзоризация по заранее заданному перцентилю или логарифм.
Что хотят услышать
- Почему наблюдения внутри пользователя зависимы.
- Дельта-метод, линеаризация, бутстреп.
- Работа с длинными хвостами.
Проверьте себя
Один верный вариант. Подумайте, потом откройте ответ.
Показать варианты и ответ
- ✗Бутстреп делают по заказам, а не по пользователям: наблюдений больше и доверительный интервал точнее
- ✓Заказы одного пользователя зависимы, t-тест по заказам занижает дисперсию; нужны дельта-метод или бутстреп по пользователям
- ✗Для среднего чека при рандомизации по пользователям подходит обычный t-тест по заказам
- ✗Метрики-отношения нельзя анализировать в A/B-тестах
Связанные вопросы
Разбор собеседования с sotto
После собеседования sotto разбирает разговор: оценка, каждый вопрос — хорошо, частично или слабо, чего не хватило в ответе и над чем поработать к следующему разу. Первые 30 минут бесплатно.