Какие ошибки можно совершить при интерпретации статистической значимости в маркетинговых исследованиях?

Некоторые ошибки, которые можно совершить при интерпретации статистической значимости в маркетинговых исследованиях:

• Учитывать не все результаты вычислений (p-hacking). www.unisender.com Случаи, когда P-значение не позволяет подтвердить альтернативную гипотезу, отбрасываются. www.unisender.com
• Сначала вычислить P-значение, а потом подогнать уровень надёжности. www.unisender.com Это позволяет манипулировать результатами проверки гипотез. www.unisender.com
• Использовать прошлые данные и полученные ранее результаты. www.unisender.com Не нужно думать, что найденная статистическая значимость или её отсутствие на 100% гарантируют будущие результаты. www.unisender.com
• Выбрать слишком низкий уровень надёжности. www.unisender.com Если уровень надёжности поставить чересчур низким, например 0,1, то нулевая гипотеза будет отвергаться чаще, чем она того заслуживает. www.unisender.com
• Завершить A/B-тестирование, как только одна из вариаций начинает заметно «побеждать». www.mango-office.ru Это может привести к false-positive — получению ложноположительного результата, даже если на этом этапе его оценивают как статистически значимый. www.mango-office.ru

Также важно понимать, что статистическая значимость не отображает силу связи и должна рассматриваться наряду с другим показателем — размером эффекта. www.unisender.com www.trv-science.ru