Некоторые недостатки использования p-значений для проверки гипотез:

• Неправильная интерпретация. 2 P-значение часто неверно понимается как вероятность того, что нулевая гипотеза верна. 2 Также невозможно оценить вероятность того, что один исследуемый вариант лучше другого. 1
• Неустойчивость. 2 P-значения не стабильны на эквивалентных выборках, что может стать препятствием для воспроизводимости результатов эксперимента. 2
• Ошибки первого рода. 2 Использование p-значений нередко приводит к ложноположительным заключениям. 2
• Статистические манипуляции. 4 Научные журналы предпочитают публиковать именно статистически значимые результаты, и иногда авторы работ используют статистические манипуляции, чтобы подогнать результаты под этот критерий. 4
• Отсутствие гарантии убедительности. 4 Ни одно значение p не гарантирует убедительность, наличие, истинность или важность какой-либо связи или эффекта. 4

Использование p-значений для проверки нулевых гипотез в работах по медицине и естественным наукам подвергается критике со стороны многих специалистов. 2