Разность разностей, синтетический контроль, сопоставление, uplift — когда A/B-тест невозможен.
Практика. Оценить эффект запуска функции в одном городе разностью разностей с проверкой параллельных трендов.
Практика. Построить uplift-модель на открытом датасете кампании и сравнить с моделью отклика по выгоде.
Войдите, чтобы пройти тест: сданный тест отмечает тему пройденной на карте и в ИПР.
Разность разностей (difference-in-differences) — сравнить изменение метрики в затронутой группе с изменением в похожей незатронутой за тот же период; допущение — параллельные тренды до изменения. Ещё: синтетический контроль (взвешенная комбинация контрольных…
Полный разборСравнение «до и после» в лоб ненадёжно — мешают сезонность, тренд и параллельные изменения. Варианты: контрольная группа, если фича доступна не всем (платформа, регион, версия приложения) — разность разностей; прерванный временной ряд с моделью тренда и…
Полный разборКорреляция — совместное изменение величин; причинность — изменение одной вызывает изменение другой. Корреляция возникает и без причинности: общая причина (конфаундер), обратная причинность, отбор данных, случайность. Причинность надёжно устанавливает…
Полный разборНачинать с вопросов и решений, которые дашборд должен поддерживать, и с аудитории: руководителю — несколько ключевых метрик с динамикой и сравнением с планом, команде — детализация и разрезы. Каждой метрике — определение, сравнение (с прошлым периодом…
Полный разборСначала проверить корректность теста (SRM, длительность, значимость обеих метрик). Затем разложить выручку: конверсия выросла, а средний чек или число покупок упали — например, пришли покупатели дешёвых товаров. Решение принимают по заранее выбранной главной…
Полный разборПорядок: проверить данные (не сломался ли трекинг, загрузка, расчёт) → оценить, реально ли это (сезонность, день недели, праздник, сравнение с той же датой прошлой недели) → разложить метрику на компоненты по дереву и сегментам (платформа, версия, регион…
Полный разборПосле собеседования sotto разбирает разговор: оценка, каждый вопрос — хорошо, частично или слабо, чего не хватило в ответе и над чем поработать к следующему разу. Первые 30 минут бесплатно.