Что важно знать
- Сначала проверить данные и сбор, потом искать причину.
- Декомпозиция метрики и сегменты.
- Решение по тесту — с учётом всех ключевых метрик и рисков.
Этап 10 из 14 · ≈ 6 ч
Аналитические кейсы
Основа с Middle
Падение метрики, противоречивые результаты, оценка эффекта функции.
Критерии освоения
Middle ≈ 6 ч
- Разбирает падение метрики по шагам — данные, сегменты, внешние факторы, изменения продукта
- Принимает решение при противоречивых метриках теста
Практика. Разобрать 3 кейса «метрика упала» письменно по единой структуре.
Senior ≈ 4 ч
- Ведёт обсуждение с продуктом и защищает рекомендацию данными
Практика. Провести с продуктом разбор результатов эксперимента с противоречивыми метриками и зафиксировать решение.
Проверка знаний
Войдите, чтобы пройти тест: сданный тест отмечает тему пройденной на карте и в ИПР.
Вопросы с собеседований
Смотреть всеКак спроектировать дашборд, которым будут пользоваться?Junior
Начинать с вопросов и решений, которые дашборд должен поддерживать, и с аудитории: руководителю — несколько ключевых метрик с динамикой и сравнением с планом, команде — детализация и разрезы. Каждой метрике — определение, сравнение (с прошлым периодом…
Полный разборВ тесте выросла конверсия, но упала выручка. Выкатывать ли изменение?Middle
Сначала проверить корректность теста (SRM, длительность, значимость обеих метрик). Затем разложить выручку: конверсия выросла, а средний чек или число покупок упали — например, пришли покупатели дешёвых товаров. Решение принимают по заранее выбранной главной…
Полный разборФичу выкатили на всех без A/B-теста. Как оценить её эффект?Middle
Сравнение «до и после» в лоб ненадёжно — мешают сезонность, тренд и параллельные изменения. Варианты: контрольная группа, если фича доступна не всем (платформа, регион, версия приложения) — разность разностей; прерванный временной ряд с моделью тренда и…
Полный разборКлючевая метрика вчера упала на 15%. Как будете разбираться?Middle
Порядок: проверить данные (не сломался ли трекинг, загрузка, расчёт) → оценить, реально ли это (сезонность, день недели, праздник, сравнение с той же датой прошлой недели) → разложить метрику на компоненты по дереву и сегментам (платформа, версия, регион…
Полный разбор
Партнёр платформы
Разбор собеседования
Разбор собеседования с sotto
После собеседования sotto разбирает разговор: оценка, каждый вопрос — хорошо, частично или слабо, чего не хватило в ответе и над чем поработать к следующему разу. Первые 30 минут бесплатно.