Статистически значимое улучшение показателя не всегда приводит к положительным результатам по нескольким причинам:

• Статистическая значимость не оценивает важность разницы между эталоном и объектом исследования. 1 Показатель статистической значимости сообщает, что разница, вероятно, появилась не по случайности, но не говорит о том, имеет ли она значение в реальном мире. 1
• При тестировании делают предположения, которые часто не имеют места в реальных жизненных сценариях. 2 Например, предполагают, что элементы каждой выборки распределены одинаково, но это не так. 2 Вероятность конверсии зависит от времени, местоположения, предпочтений посетителя, источников трафика и многих других факторов. 2
• Возможны завышенные ожидания от вариации-победителя. 24 Есть вероятность, что вариация-победитель на самом деле была не объективно лучшей, а просто более «везучей». 2 Это везение со временем заканчивается и сглаживается, в результате чего возникает ощущение, что результаты падают. 2
• Результаты исследования могут быть невоспроизводимыми. 1 Часто бывает так, что результат, являющийся статистически значимым в исходной публикации, оказывается статистически незначимым при воспроизведении эксперимента. 1

Чтобы избежать ошибок, важно оценивать размер эффекта (то, насколько велик этот эффект) отдельно от уровня статистической значимости результатов эксперимента. 1