Неправильное использование p-значения может вводить в заблуждение, например, по следующим причинам:

• Неправильная интерпретация. 13 P-значение показывает лишь вероятность того, что при верности нулевой гипотезы удастся вычислить результат, отличный от нуля. 1 По этому показателю невозможно оценить, например, вероятность того, что один исследуемый вариант лучше другого. 1
• Отвержение или принятие нулевой гипотезы исключительно на основании p-значения. 2 При принятии решения о том, имеет ли нулевая гипотеза право на существование, важно принимать во внимание её контекст и особенности исследования. 2 В некоторых случаях показатель p-значения имеет второстепенное значение. 2
• Неправильное понимание уровня значимости. 23 Выбор уровня значимости определяется индивидуально для каждой задачи и зависит от контекста исследования и его задач. 2 Если уровень значимости слишком низок, то данные могут быть признаны слишком неубедительными для правильных выводов. 2
• Невозможность чётко определить, какой из вариантов имеет большую вероятность стать истиной. 1 Даже при низком p-значении p-значение всё ещё не может чётко показать, какой из вариантов имеет большую вероятность стать истиной: когда нуль действительно является ложным или когда нуль является верным, но выборка нечёткая. 1

Чтобы не допустить ошибок, важно правильно выбрать мощность теста и уровень значимости параметра p-значения, учитывая конкретные данные и природу используемых данных. 2