Некоторые заблуждения и ошибки при интерпретации p-значения:

• Восприятие p-value как вероятности истинности нулевой гипотезы. 1 P-значение показывает лишь вероятность того, что при верности нулевой гипотезы удастся вычислить результат, отличный от нуля. 2
• Считать p > 0,05 доказательством отсутствия эффекта. 1 Разделение значений P на «значимые» и «несущественные» является плохой статистической практикой, и её следует избегать. 3
• Игнорирование практической значимости при наличии статистической значимости. 1 Например, малые p-value при больших выборках могут указывать на эффекты, не имеющие практической ценности. 1
• Использование p-value как меры величины эффекта. 1 По значению p невозможно оценить вероятность того, что один исследуемый вариант лучше другого. 2
• Неправильный выбор статистического теста. 1 Например, применение параметрических тестов для данных, не соответствующих нормальному распределению, или одновыборочных тестов, когда требуются парные сравнения. 1
• Проблема множественных сравнений. 1 При проведении нескольких тестов одновременно возрастает вероятность получить значимый результат случайно. 1

Чтобы избежать ошибок, рекомендуется формулировать выводы в терминах отклонения/не отклонения нулевой гипотезы, подкреплять результаты анализом размера эффекта и доверительных интервалов. 1