Фичу выкатили на всех без A/B-теста. Как оценить её эффект?
Сравнение «до и после» в лоб ненадёжно — мешают сезонность, тренд и параллельные изменения. Варианты: контрольная группа, если фича доступна не всем (платформа, регион, версия приложения) — разность разностей; прерванный временной ряд с моделью тренда и сезонности; сравнение пользователей и непользователей фичи — с оговоркой о самоотборе; при возможности — временно отключить фичу для части пользователей (holdout).
- Использовавшие фичу — изначально более активны: сравнение с остальными завышает эффект
- Постепенная выкатка по регионам или версиям даёт естественный эксперимент
- Вывод формулируют с ограничениями и доверительным интервалом
А ещё Лучший ответ включает рекомендацию на будущее: выкатывать через эксперимент
Подробно
Почему «до-после» обманывает. Выкатили в начале декабря — вырос спрос из-за праздников. Одновременно маркетинг запустил кампанию. Разница периодов — смесь всего этого.
Подходы по силе:
- Holdout сейчас — отключить фичу для 5–10% пользователей на несколько недель. Самый надёжный ответ, если бизнес согласен.
- Естественный эксперимент — фича появилась в версии приложения X: сравнить тех, кто обновился, с теми, кто ещё нет, — с поправкой на то, что обновляются более активные (разность разностей по динамике до обновления).
- Временной ряд — построить прогноз метрики без изменения по истории (тренд, сезонность) и сравнить с фактом.
- Сопоставление пользователей — похожие по прошлому поведению пользователи, использовавшие и не использовавшие фичу; учитывать самоотбор.
Формулировка вывода: «эффект от +2 до +6% при допущениях…», а не «фича дала +4%».
Что хотят услышать
- Почему сравнение до-после ненадёжно.
- Квазиэкспериментальные варианты и самоотбор.
- Holdout как самое надёжное решение.
Проверьте себя
Один верный вариант. Подумайте, потом откройте ответ.
Показать варианты и ответ
- ✓Контроль, где фичи нет (разность разностей), прерванный временной ряд или временный holdout
- ✗Сравнить пользователей фичи и тех, кто её не использует: разница их метрик за тот же период и есть эффект
- ✗Достаточно сравнить метрику за неделю до и неделю после
- ✗Без A/B-теста эффект оценить невозможно никак
Связанные вопросы
Разбор собеседования с sotto
После собеседования sotto разбирает разговор: оценка, каждый вопрос — хорошо, частично или слабо, чего не хватило в ответе и над чем поработать к следующему разу. Первые 30 минут бесплатно.