В тесте выросла конверсия, но упала выручка. Выкатывать ли изменение?
- Метрики эксперимента противоречат друг другу — как принять решение?
Сначала проверить корректность теста (SRM, длительность, значимость обеих метрик). Затем разложить выручку: конверсия выросла, а средний чек или число покупок упали — например, пришли покупатели дешёвых товаров. Решение принимают по заранее выбранной главной метрике и долгосрочной ценности: важна ли выручка сейчас, растёт ли удержание, что с маржой.
- Значимы ли оба изменения — часто одно из них в пределах шума
- Разложение на множители объясняет противоречие
- Учесть долгосрочные эффекты: новые покупатели могут дать выручку позже
А ещё Хороший ответ — не «да» или «нет», а план: что посчитать и какой критерий использовать
Подробно
Последовательность рассуждения:
- Достоверность: SRM, правильная длительность, доверительные интервалы обеих метрик. Если падение выручки незначимо — это ещё не противоречие.
- Разложение: выручка на пользователя = конверсия × заказов на покупателя × средний чек. Что именно упало?
- Сегменты: кто стал покупать — новые пользователи, дешёвая категория, определённая платформа?
- Экономика: маржа важнее выручки; рост числа покупателей может увеличить LTV при достаточном удержании.
- Решение по плану: если главная метрика — выручка, изменение не выкатывают или дорабатывают; если стратегическая цель — привлечение покупателей, а выручка — ограничитель с допустимым падением, — возможно выкатить с наблюдением.
Варианты продолжения: доработать изменение (например, минимальная сумма заказа), повторный тест, holdout для долгосрочной оценки.
Что хотят услышать
- Проверка достоверности результатов.
- Разложение выручки.
- Решение по главной метрике и долгосрочной ценности.
Проверьте себя
Один верный вариант. Подумайте, потом откройте ответ.
Показать варианты и ответ
- ✗Не выкатывать: если выручка упала хотя бы немного, изменение вредно независимо от значимости и главной метрики
- ✗Выкатывать: конверсия важнее выручки
- ✗Перезапускать тест, пока обе метрики не вырастут
- ✓Проверить тест и значимость обеих метрик, разложить выручку и решить по заранее выбранной главной метрике
Связанные вопросы
Разбор собеседования с sotto
После собеседования sotto разбирает разговор: оценка, каждый вопрос — хорошо, частично или слабо, чего не хватило в ответе и над чем поработать к следующему разу. Первые 30 минут бесплатно.