P-значение нельзя использовать как единственный критерий статистической значимости по нескольким причинам:

• Вероятность получения ложноположительных или ложноотрицательных результатов. 1 Пороговое значение α устанавливается произвольно, и его смещение в большую или меньшую сторону повышает вероятность ошибок. 1
• Влияние размера выборки. 1 В масштабных исследованиях практически всегда получаются статистически значимые результаты, даже если наблюдаемый эффект очень невелик. 1
• Отсутствие информации о реальном практическом значении наблюдаемого эффекта или различий. 1 Например, статистически значимые различия роста взрослых людей величиной в 1 сантиметр или разница артериального давления в 5 миллиметров ртутного столба не имеют никакого значения в реальной жизни. 1

Таким образом, помимо p-значения необходимо учитывать и другие факторы, такие как дизайн исследования, качество измерений, внешние доказательства изучаемого явления и обоснованность предположений, лежащих в основе анализа данных. 2