Описательная статистика, p-value, доверительные интервалы, ошибки первого и второго рода, мощность.
Практика. Проверить гипотезу о различии средних двух групп t-тестом и бутстрапом и объяснить результат.
Практика. Смоделировать в Python ошибки первого и второго рода для разных размеров выборки и построить кривую мощности.
Войдите, чтобы пройти тест: сданный тест отмечает тему пройденной на карте и в ИПР.
Формулируют нулевую гипотезу (эффекта нет) и альтернативу. p-value — вероятность получить такие или ещё более сильные различия, если нулевая гипотеза верна. Если p-value меньше заранее выбранного уровня α (часто 0,05) — отвергаем нулевую гипотезу.
Полный разборЦПТ: среднее большой выборки распределено примерно нормально со стандартным отклонением σ/√n (стандартная ошибка), даже если сами данные не нормальны. На этом построены интервалы и тесты. 95% доверительный интервал — процедура, которая в 95% повторений…
Полный разборОшибка I рода (α) — найти эффект, которого нет (ложная тревога). Ошибка II рода (β) — не найти существующий эффект (пропуск). Мощность = 1 − β — вероятность обнаружить эффект заданного размера; стандарт — 80%. MDE — минимальный эффект, который тест надёжно…
Полный разборСреднее — сумма, делённая на количество; чувствительно к выбросам. Медиана — значение посередине упорядоченного ряда; устойчива к выбросам. Мода — самое частое значение; для категорий и дискретных данных. При правосторонней асимметрии (доходы, чеки) среднее…
Полный разборТеорема Байеса пересчитывает вероятность гипотезы после наблюдения: P(H|D) = P(D|H)P(H) / P(D). Классическая ловушка — забыть базовую частоту P(H): при редком событии даже очень точный тест даёт больше ложных срабатываний, чем верных.
Полный разборКорреляция — совместное изменение величин; причинность — изменение одной вызывает изменение другой. Корреляция возникает и без причинности: общая причина (конфаундер), обратная причинность, отбор данных, случайность. Причинность надёжно устанавливает…
Полный разборВ PostgreSQL: PERCENTILE_CONT(0.5) WITHIN GROUP (ORDER BY x) — медиана с интерполяцией между значениями, PERCENTILE_DISC — ближайшее реальное значение. В ClickHouse — quantile, в BigQuery — APPROX_QUANTILES. Среднее чувствительно к выбросам: один заказ на…
Полный разборУсловная вероятность P(A|B) — вероятность A, если известно, что произошло B: P(A|B) = P(A и B) / P(B). События независимы, если знание одного не меняет вероятность другого: P(A|B) = P(A), и тогда P(A и B) = P(A)P(B). Несовместные события не могут произойти…
Полный разборПроверка гипотез и p-value, ошибки первого и второго рода, дизайн A/B-теста, размер выборки и почему нельзя подглядывать.
После собеседования sotto разбирает разговор: оценка, каждый вопрос — хорошо, частично или слабо, чего не хватило в ответе и над чем поработать к следующему разу. Первые 30 минут бесплатно.