Некоторые ошибки, которые можно совершить при интерпретации статистической значимости в маркетинговых исследованиях:

• Учитывать не все результаты вычислений (p-hacking). 1 Случаи, когда P-значение не позволяет подтвердить альтернативную гипотезу, отбрасываются. 1
• Сначала вычислить P-значение, а потом подогнать уровень надёжности. 1 Это позволяет манипулировать результатами проверки гипотез. 1
• Использовать прошлые данные и полученные ранее результаты. 1 Не нужно думать, что найденная статистическая значимость или её отсутствие на 100% гарантируют будущие результаты. 1
• Выбрать слишком низкий уровень надёжности. 1 Если уровень надёжности поставить чересчур низким, например 0,1, то нулевая гипотеза будет отвергаться чаще, чем она того заслуживает. 1
• Завершить A/B-тестирование, как только одна из вариаций начинает заметно «побеждать». 2 Это может привести к false-positive — получению ложноположительного результата, даже если на этом этапе его оценивают как статистически значимый. 2

Также важно понимать, что статистическая значимость не отображает силу связи и должна рассматриваться наряду с другим показателем — размером эффекта. 14