Что такое теорема Байеса и ошибка пренебрежения базовой частотой?
- Тест точен на 99%, а результат положительный — какова вероятность болезни?
Теорема Байеса пересчитывает вероятность гипотезы после наблюдения: P(H|D) = P(D|H)·P(H) / P(D). Классическая ловушка — забыть базовую частоту P(H): при редком событии даже очень точный тест даёт больше ложных срабатываний, чем верных.
- Пример: болезнь у 1 из 1000, тест с чувствительностью 99% и 1% ложноположительных → при положительном результате вероятность болезни около 9%
- В антифроде, модерации и медицине это объясняет низкую precision
- Байесовские A/B-тесты отвечают на «вероятность, что B лучше A», но требуют априорного распределения
А ещё Связь с ML: precision зависит от доли положительного класса, а recall — нет
Подробно
Расчёт примера на 100 000 человек:
- больных — 100; тест найдёт 99 (чувствительность 99%);
- здоровых — 99 900; ложных срабатываний 1% — 999;
- положительных результатов всего 1 098, больных среди них 99 — около 9%.
Интуиция «тест точен на 99% → 99%» игнорирует, что здоровых в тысячу раз больше.
Где встречается аналитику:
- модель мошенничества с 99% accuracy на редком классе;
- алерты мониторинга: при редких реальных инцидентах большая часть тревог — ложные;
- интерпретация результатов тестов и опросов.
Байесовский подход к экспериментам: вместо p-value — распределение возможного эффекта и вероятность, что вариант лучше. Удобно бизнесу, но зависит от выбора априорного распределения и не отменяет проблему раннего подглядывания полностью.
Что хотят услышать
- Формула и смысл.
- Расчёт примера с базовой частотой.
- Где это встречается в продукте.
Проверьте себя
Один верный вариант. Подумайте, потом откройте ответ.
Показать варианты и ответ
- ✓При редком событии даже точный тест даёт больше ложных срабатываний, чем верных: важна базовая частота P(H)
- ✗Тест с точностью 99% при положительном результате означает около 99% вероятности болезни — базовая частота важна только для слабых тестов
- ✗Базовая частота не влияет на итоговую вероятность
- ✗Теорема Байеса применима только к непрерывным величинам
Связанные вопросы
Разбор собеседования с sotto
После собеседования sotto разбирает разговор: оценка, каждый вопрос — хорошо, частично или слабо, чего не хватило в ответе и над чем поработать к следующему разу. Первые 30 минут бесплатно.