Разница между p-значением и уровнем значимости при проведении статистических тестов заключается в их функциях и значениях.

P-значение (p-value) показывает вероятность получения наблюдаемых результатов при условии, что нулевая гипотеза верна, или вероятность ошибки в случае отклонения нулевой гипотезы. 5 Чем ниже значение p, тем более неожиданными являются доказательства, тем более нелепой выглядит нулевая гипотеза. 2

Уровень значимости (обозначаемый как α) представляет собой порог, ниже которого наблюдаемый результат считается статистически значимым. 3 Это вероятность отвергнуть нулевую гипотезу при условии, что она верна. 4 Например, уровень значимости, равный 0,05, означает, что допускается не более чем 5%-ая вероятность ошибки. 1

Таким образом, p-значение фокусируется на вероятности получения наблюдаемых результатов, а уровень значимости — на вероятности отвергнуть нулевую гипотезу.

Если p-значение меньше уровня значимости, то нулевую гипотезу следует отвергнуть, если больше — то отвергать нулевую гипотезу оснований нет. 4 Если p-значение совпало с уровнем значимости (что бывает довольно редко), то решение принимается на усмотрение исследователя. 4