Как оценить эффект изменения, если A/B-тест провести нельзя?
- Что такое difference-in-differences?
Разность разностей (difference-in-differences) — сравнить изменение метрики в затронутой группе с изменением в похожей незатронутой за тот же период; допущение — параллельные тренды до изменения. Ещё: синтетический контроль (взвешенная комбинация контрольных регионов), разрыв регрессии (эффект на пороге правила), прерванный временной ряд.
- До-после без контроля смешивает эффект с сезонностью и трендом
- Допущения методов проверяют на периоде до изменения
- Результат честно подавать с ограничениями — это слабее рандомизации
А ещё Гео-эксперименты: изменение запускают в одних городах, другие — контроль
Подробно
Почему «до и после» не работает. Сравнили продажи в октябре и сентябре после запуска фичи — рост 12%. Но в октябре и так сезонный рост, параллельно шла рекламная кампания.
Difference-in-differences:
эффект = (метрика_после − метрика_до) в тесте
− (метрика_после − метрика_до) в контролеКонтрольная группа должна вести себя так же, как тестовая, если бы изменения не было. Проверка — графики трендов до запуска.
Другие методы:
- синтетический контроль — когда затронут один регион или страна: контроль собирают из взвешенных других регионов, похожих по истории;
- regression discontinuity — правило «скидка заказам от 3 000 рублей»: сравнивают заказы чуть ниже и чуть выше порога;
- прерванный временной ряд — моделируют тренд и сезонность до изменения и сравнивают прогноз с фактом;
- propensity score matching — подбор похожих необработанных объектов (с осторожностью: только по наблюдаемым признакам).
Что хотят услышать
- Почему сравнение до-после ненадёжно.
- Разность разностей и её допущение.
- Другие квазиэкспериментальные методы.
Проверьте себя
Один верный вариант. Подумайте, потом откройте ответ.
Показать варианты и ответ
- ✓Разность разностей при допущении параллельных трендов
- ✗Достаточно сравнения до и после без контрольной группы: на длинном периоде сезонность и общие тренды взаимно сокращаются
- ✗Синтетический контроль — это случайная выборка пользователей из той же группы
- ✗Квазиэксперименты не требуют никаких допущений о данных и трендах
Связанные вопросы
Разбор собеседования с sotto
После собеседования sotto разбирает разговор: оценка, каждый вопрос — хорошо, частично или слабо, чего не хватило в ответе и над чем поработать к следующему разу. Первые 30 минут бесплатно.