Учёт уровня значимости важен при проведении статистических тестов, потому что он позволяет:

• Убедиться в чистоте эксперимента и понять, насколько можно доверять результатам исследования. 1 Статистическая значимость — количественный показатель того, что результаты не случайны и могут быть признаны достоверными. 1
• Отличать иллюзорные результаты от реальных. 1 Это помогает определить, имеет ли разница между двумя вариантами какое-то основание или она оказалась случайной. 1
• Избегать ошибок. 4 Например, ложноположительных результатов, когда по данным можно прийти к выводу, что разница в показателях двух страниц имеется, а на деле её нет. 4

Как правило, уровень значимости принимают равным 0,05: это означает, что на действующей модели лишь в 5% случаев есть вероятность выявить ложную разницу между двумя вариациями (то есть пятипроцентная вероятность ошибки). 4