Некоторые недостатки статистической значимости при оценке научных исследований:
- Субъективность уровней статистической значимости. 1 Они установлены людьми без опоры на математику. 1 Смещение порога в большую или меньшую сторону повышает вероятность получения ложноположительных или ложноотрицательных результатов. 2
- Невозможность учесть точность эксперимента. 1 При вычислении статистической значимости не учитывается качество выборки и данных. 1
- Невоспроизводимость результатов. 1 Часто результат, который является статистически значимым в исходной публикации, оказывается статистически незначимым при воспроизведении эксперимента. 1
- Отсутствие оценки важности результатов. 1 Статистическая значимость не говорит о том, имеет ли разница между эталоном и объектом исследования значение в реальном мире. 1
- Ограниченность тестирования статистической значимости. 3 Оно оценивает лишь вероятность получения похожего результата с другим набором данных при сохранении тех же условий. 3
Статистическую значимость нельзя воспринимать как единственный критерий значимости работы и качества результатов. 2 Для правильной интерпретации результатов исследования необходимо учитывать не только критерий статистической значимости, но и средние значения, доверительные интервалы, практическую и клиническую значимость результатов. 2