Почему p-значения могут быть ненадежными при проверке гипотез?

Некоторые причины, по которым p-значения могут быть ненадёжными при проверке гипотез:

• Неправильная интерпретация. neiros.ru ru.wikipedia.org P-значение часто неверно понимается как вероятность того, что нулевая гипотеза верна. ru.wikipedia.org Также по этому показателю нельзя оценить, например, вероятность того, что один исследуемый вариант лучше другого. neiros.ru
• Неустойчивость на эквивалентных выборках. ru.wikipedia.org Это может стать препятствием для воспроизводимости результатов эксперимента. ru.wikipedia.org
• Отсутствие указания на размер или важность наблюдаемого эффекта. en.wikipedia.org Небольшое p-значение может наблюдаться для эффекта, который не является значимым. en.wikipedia.org
• Проблема множественных сравнений. en.wikipedia.org Она возникает, когда одновременно рассматривается набор статистических выводов или выводится подмножество параметров, выбранных на основе наблюдаемых значений. en.wikipedia.org
• Влияние фактора случайности. nplus1.ru Из-за случайности можно совершить ошибку второго рода, то есть принять нулевую гипотезу в качестве верной, хотя на самом деле это не так. nplus1.ru

Использование p-значений для проверки нулевых гипотез в работах по медицине и естественным наукам подвергается критике со стороны многих специалистов. ru.wikipedia.org Некоторые специалисты предлагают заменить p-значения на альтернативные метрики доказательности, такие как доверительный интервал, отношение правдоподобий или коэффициент Байеса. ru.wikipedia.org