Некоторые причины, по которым p-значения могут быть ненадёжными при проверке гипотез:

• Неправильная интерпретация. 14 P-значение часто неверно понимается как вероятность того, что нулевая гипотеза верна. 4 Также по этому показателю нельзя оценить, например, вероятность того, что один исследуемый вариант лучше другого. 1
• Неустойчивость на эквивалентных выборках. 4 Это может стать препятствием для воспроизводимости результатов эксперимента. 4
• Отсутствие указания на размер или важность наблюдаемого эффекта. 2 Небольшое p-значение может наблюдаться для эффекта, который не является значимым. 2
• Проблема множественных сравнений. 2 Она возникает, когда одновременно рассматривается набор статистических выводов или выводится подмножество параметров, выбранных на основе наблюдаемых значений. 2
• Влияние фактора случайности. 3 Из-за случайности можно совершить ошибку второго рода, то есть принять нулевую гипотезу в качестве верной, хотя на самом деле это не так. 3

Использование p-значений для проверки нулевых гипотез в работах по медицине и естественным наукам подвергается критике со стороны многих специалистов. 4 Некоторые специалисты предлагают заменить p-значения на альтернативные метрики доказательности, такие как доверительный интервал, отношение правдоподобий или коэффициент Байеса. 4