Выбор уровня значимости влияет на результаты статистического анализа и сделанные выводы. 3

Уровень значимости — это порог, который исследователь устанавливает заранее. 1 Если значение критерия меньше уровня значимости, то результат считается статистически значимым, и нулевая гипотеза отвергается. 15 Если значение критерия выше уровня значимости, то результат интерпретируется как статистически незначимый, и нулевая гипотеза принимается. 1

Некоторые последствия неправильного выбора уровня значимости:

• Слишком высокий уровень значимости может привести к чрезмерному отклонению нулевой гипотезы и ошибочному признанию незначимых различий между группами. 2 В результате могут быть приняты решения на основе данных, которые на самом деле не являются статистически значимыми. 2
• Слишком низкий уровень значимости может привести к тому, что тест станет менее чувствительным к обнаружению реальных различий между группами. 2

Выбор уровня значимости часто сводится к балансу между риском совершения ошибок первого и второго рода. 2 На выбор уровня значимости влияют, например, цели и специфика проекта, статистическая мощность и размер выборки. 2