A/B-тесты и статистика для собеседования
Самая требовательная часть собеседования аналитика: как спроектировать эксперимент, рассчитать выборку, не обмануться подглядыванием и множественными сравнениями и что делать, когда тест провести нельзя.
- 01Какие эффекты искажают результаты A/B-тестов — новизна, сетевые эффекты, сезонность?
Эффект новизны — пользователи активно пробуют новое, и эффект угасает; эффект привыкания (primacy) — наоборот, сначала сопротивление. Сетевые эффекты и интерференция — группы…
Middle - 02Как выбрать единицу рандомизации в A/B-тесте — пользователь, сессия, город?
Единица рандомизации — то, что случайно попадает в группу: обычно пользователь, чтобы он всё время видел один вариант. Сессия или просмотр — только для изменений, которые…
Junior - 03Как рассчитать размер выборки и длительность A/B-теста?
Размер выборки зависит от базового значения и дисперсии метрики, MDE (минимального эффекта, который важно заметить), α и мощности. Для долей приближённо: n на группу ≈ 16p(1 − p)…
Middle - 04Как спроектировать A/B-тест от гипотезы до решения?
До запуска: гипотеза (что меняем и почему это должно сработать), главная метрика и ограничители (guardrails), единица рандомизации (пользователь, сессия, город), размер выборки и…
Junior - 05Что такое теорема Байеса и ошибка пренебрежения базовой частотой?
Теорема Байеса пересчитывает вероятность гипотезы после наблюдения: P(H|D) = P(D|H)P(H) / P(D). Классическая ловушка — забыть базовую частоту P(H): при редком событии даже очень…
Middle - 06Чем отличаются среднее, медиана и мода и когда что использовать?
Среднее — сумма, делённая на количество; чувствительно к выбросам. Медиана — значение посередине упорядоченного ряда; устойчива к выбросам. Мода — самое частое значение; для…
Junior - 07Что такое центральная предельная теорема и доверительный интервал?
ЦПТ: среднее большой выборки распределено примерно нормально со стандартным отклонением σ/√n (стандартная ошибка), даже если сами данные не нормальны. На этом построены интервалы…
Middle - 08Что такое условная вероятность и независимость событий?
Условная вероятность P(A|B) — вероятность A, если известно, что произошло B: P(A|B) = P(A и B) / P(B). События независимы, если знание одного не меняет вероятность другого: P(A|B)…
Junior - 09Чем корреляция отличается от причинно-следственной связи?
Корреляция — совместное изменение величин; причинность — изменение одной вызывает изменение другой. Корреляция возникает и без причинности: общая причина (конфаундер), обратная…
Junior - 10Какие вероятностные распределения нужно знать аналитику?
Бернулли и биномиальное — успех/неуспех и число успехов из n попыток (конверсия). Пуассона — число редких событий за интервал (заказы в минуту, ошибки в час). Нормальное — суммы…
Middle - 11Что такое проблема множественных сравнений?
При α = 0,05 каждый тест даёт 5% ложных срабатываний. Проверив 20 метрик или сегментов, вы с вероятностью около 64% найдёте хотя бы одну «значимую» случайно. Лечение: одна главная…
Middle - 12Как обнаруживать и обрабатывать выбросы в данных?
Сначала понять природу выброса: ошибка данных (тестовый заказ, бот, сбой трекинга, неверные единицы) — исправить или исключить; реальное редкое значение (оптовый клиент) — часть…
Junior - 13Что такое p-value и как работает проверка статистических гипотез?
Формулируют нулевую гипотезу (эффекта нет) и альтернативу. p-value — вероятность получить такие или ещё более сильные различия, если нулевая гипотеза верна. Если p-value меньше…
Junior - 14Почему нельзя останавливать A/B-тест, как только результат стал значимым?
p-value колеблется по ходу теста, и если проверять каждый день и остановиться на первом p < 0,05, доля ложных срабатываний вырастает с 5% до 20–30%. Это те же множественные…
Middle - 15Как оценить эффект изменения, если A/B-тест провести нельзя?
Разность разностей (difference-in-differences) — сравнить изменение метрики в затронутой группе с изменением в похожей незатронутой за тот же период; допущение — параллельные…
Middle - 16Как анализировать метрики-отношения (средний чек, CTR) и метрики с длинным хвостом в A/B-тесте?
Если единица рандомизации — пользователь, а метрика считается по заказам или кликам (средний чек = выручка / число заказов, CTR = клики / показы), наблюдения внутри пользователя…
Senior - 17Что такое SRM (sample ratio mismatch) и почему это повод не доверять результатам теста?
SRM — наблюдаемое соотношение групп статистически отличается от запланированного (50/50 стало 50,8/49,2 на миллионе пользователей). Это признак сломанной рандомизации или…
Middle - 18Что такое ошибки первого и второго рода и мощность теста?
Ошибка I рода (α) — найти эффект, которого нет (ложная тревога). Ошибка II рода (β) — не найти существующий эффект (пропуск). Мощность = 1 − β — вероятность обнаружить эффект…
Middle - 19Что такое CUPED и как ускорить A/B-тесты без увеличения трафика?
CUPED использует данные пользователя до эксперимента (например, его выручку за прошлый месяц): из метрики вычитают часть, объяснимую этой ковариатой: Y' = Y − θ(X − X̄). Эффект не…
Senior
Разбор собеседования с sotto
После собеседования sotto разбирает разговор: оценка, каждый вопрос — хорошо, частично или слабо, чего не хватило в ответе и над чем поработать к следующему разу. Первые 30 минут бесплатно.