Что такое ошибки первого и второго рода и мощность теста?
- Что такое MDE?
- Почему эксперимент «ничего не показал»?
Ошибка I рода (α) — найти эффект, которого нет (ложная тревога). Ошибка II рода (β) — не найти существующий эффект (пропуск). Мощность = 1 − β — вероятность обнаружить эффект заданного размера; стандарт — 80%. MDE — минимальный эффект, который тест надёжно обнаружит при данном размере выборки.
- Уменьшение α при той же выборке снижает мощность
- Мощность растёт с размером выборки и размером эффекта и падает с дисперсией метрики
- Маломощный тест «ничего не находит» и при находке завышает эффект
А ещё Снижение дисперсии (CUPED, стратификация) повышает мощность без увеличения трафика
Подробно
| эффекта нет | эффект есть | |
|---|---|---|
| тест нашёл эффект | ошибка I рода (α) | верно (мощность) |
| тест не нашёл | верно | ошибка II рода (β) |
Цена ошибок в продукте: ошибка I рода — выкатили бесполезное изменение и считаем, что оно помогло; ошибка II рода — выбросили работающую идею. Баланс выбирают по их цене.
От чего зависит мощность:
- размер выборки — главный рычаг;
- размер эффекта — маленькие эффекты требуют огромных выборок;
- дисперсия метрики — выручка на пользователя шумнее конверсии;
- уровень α и односторонний или двусторонний тест.
Проклятие победителя. В маломощном тесте значимыми оказываются только случаи, где шум случайно усилил эффект, — поэтому оценка эффекта у «победителя» завышена. Отсюда разочарование после выкатки.
Что хотят услышать
- Определения ошибок и мощности.
- От чего зависит мощность.
- MDE и последствия маломощных тестов.
Проверьте себя
Один верный вариант. Подумайте, потом откройте ответ.
Показать варианты и ответ
- ✓I род — найти несуществующий эффект, II род — пропустить реальный; мощность = 1 − β, обычно 80%
- ✗I род — пропустить реальный эффект, II род — найти несуществующий; уменьшение α при той же выборке повышает мощность
- ✗Мощность не зависит от размера выборки
- ✗Мощность — вероятность ошибки первого рода, обычно 5%
Разбор темы
- Статистика и A/B-тесты
Проверка гипотез и p-value, ошибки первого и второго рода, дизайн A/B-теста, размер выборки и почему нельзя подглядывать.
Связанные вопросы
Разбор собеседования с sotto
После собеседования sotto разбирает разговор: оценка, каждый вопрос — хорошо, частично или слабо, чего не хватило в ответе и над чем поработать к следующему разу. Первые 30 минут бесплатно.