Что такое проблема множественных сравнений?
- Почему нельзя смотреть двадцать метрик и радоваться одной значимой?
- Что такое поправка Бонферрони?
При α = 0,05 каждый тест даёт 5% ложных срабатываний. Проверив 20 метрик или сегментов, вы с вероятностью около 64% найдёте хотя бы одну «значимую» случайно. Лечение: одна главная метрика, заранее заданная; поправки — Бонферрони (α/k, строго) или Бенджамини-Хохберг (контроль доли ложных открытий, мягче).
- Разрезы по сегментам «после» — источник ложных находок
- Несколько вариантов в одном тесте (A/B/C/D) — тоже множественные сравнения
- Вторичные метрики интерпретируют осторожно, как гипотезы для следующих тестов
А ещё Ограничивающие метрики (guardrails) проверяют на ухудшение, а не на «успех»
Подробно
Арифметика: вероятность хотя бы одной ложной находки среди k независимых тестов = 1 − 0,95ᵏ. Для k = 20 это около 0,64.
Поправки:
- Бонферрони — каждый тест на уровне α/k. Контролирует вероятность хотя бы одной ложной находки (FWER), но сильно снижает мощность;
- Холм — пошаговая версия Бонферрони, мощнее при том же контроле;
- Бенджамини-Хохберг — контролирует ожидаемую долю ложных среди найденных (FDR); подходит для множества метрик и сегментов.
Организационное решение важнее формул: зафиксировать в дизайне эксперимента главную метрику, ограничители и список сегментов. Всё, что найдено «после», — гипотеза, требующая подтверждения отдельным тестом.
Что хотят услышать
- Почему растёт число ложных находок.
- Поправки и их отличие.
- Главная метрика, заданная заранее.
Проверьте себя
Один верный вариант. Подумайте, потом откройте ответ.
Показать варианты и ответ
- ✗Поправка Бонферрони мягче, чем Бенджамини-Хохберг
- ✗Чем больше метрик проверено, тем надёжнее итоговый вывод
- ✗Разрезы по сегментам после теста не добавляют ложных находок
- ✓При α = 0,05 каждое сравнение даёт 5% ложных срабатываний — нужны поправки
Связанные вопросы
Разбор собеседования с sotto
После собеседования sotto разбирает разговор: оценка, каждый вопрос — хорошо, частично или слабо, чего не хватило в ответе и над чем поработать к следующему разу. Первые 30 минут бесплатно.