Некоторые риски, связанные с неправильной интерпретацией p-значений:

• Ложные заключения о значимости результатов. 1 P-значение может стать очень маленьким при больших объёмах выборки, даже если эффект, который оно измеряет, незначителен с практической точки зрения. 1
• Увеличение числа ложных положительных результатов. 1 Это происходит, когда проводят множество тестов на одной выборке. 1
• Игнорирование контекста и практической значимости. 1 Исследователи могут сосредоточиться только на том, чтобы p-значение было ниже уровня значимости, не принимая во внимание контекст исследования или практическую значимость результатов. 1
• Проблемы с повторяемостью. 1 Результаты, которые основываются только на p-значении, могут быть трудно воспроизводимыми. 1 Это связано с тем, что даже небольшие изменения в данных могут значительно повлиять на p-значение. 1
• Ложные открытия. 2 Например, когда исследователи изучают данные разными способами, пробуют разные тесты, удаляют «выбросы», добавляют ковариаты, пока не получат статистически значимый результат. 2 Это приводит к ложным открытиям и кризису воспроизводимости в науке. 2

Чтобы избежать этих рисков, при анализе p-значений нужно рассматривать их в комбинации с доверительными интервалами, размером эффекта, мощностью теста и другими факторами. 2