Ключевая метрика вчера упала на 15%. Как будете разбираться?
- Конверсия резко изменилась — ваши действия?
Порядок: проверить данные (не сломался ли трекинг, загрузка, расчёт) → оценить, реально ли это (сезонность, день недели, праздник, сравнение с той же датой прошлой недели) → разложить метрику на компоненты по дереву и сегментам (платформа, версия, регион, канал) → сопоставить с событиями (релизы, маркетинг, сбои, конкуренты) → гипотеза причины и проверка.
- Сначала исключают технические причины — они самые частые
- Изменение только в одном сегменте почти сразу указывает на причину
- Важно сказать, когда остановиться и кого подключить
А ещё На собеседовании ценят структуру и вопросы к интервьюеру, а не угаданный ответ
Подробно
1. Данные. Есть ли вчерашние данные целиком, не поменялась ли логика события, не упал ли сбор с одной платформы, совпадает ли метрика в двух независимых источниках (аналитика и бэкенд).
2. Реальность изменения. Сравнение с тем же днём прошлой недели и года, праздники, погода, обычный диапазон колебаний метрики.
3. Разложение.
- по формуле: конверсия = заказы / визиты — что упало, числитель или знаменатель? Возможно, выросли визиты (реклама привела холодный трафик);
- по воронке: на каком шаге;
- по сегментам: iOS / Android / веб, версия приложения, город, канал, новые и вернувшиеся.
4. Внешние события. Релиз, изменение цен, запуск кампании, сбой платёжного провайдера, изменение в выдаче поисковика или магазина приложений.
5. Вывод и действия. Гипотеза с подтверждающими данными, оценка ущерба, кого подключить (разработка, маркетинг), как не допустить повторения (алерт).
Что хотят услышать
- Структура: данные → реальность → разложение → события.
- Конкретные разрезы и компоненты.
- Вывод с действиями.
Проверьте себя
Один верный вариант. Подумайте, потом откройте ответ.
Показать варианты и ответ
- ✓Проверить данные, сезонность, разложить по сегментам и сверить с релизами
- ✗Сразу собрать встречу и найти виноватых в продуктовой команде
- ✗Подождать неделю — метрика, скорее всего, вернётся сама
- ✗Технические причины проверять в последнюю очередь
Связанные вопросы
Разбор собеседования с sotto
После собеседования sotto разбирает разговор: оценка, каждый вопрос — хорошо, частично или слабо, чего не хватило в ответе и над чем поработать к следующему разу. Первые 30 минут бесплатно.