В чем заключаются основные проблемы и критика использования p-значений в современных исследованиях?

Некоторые проблемы и критика использования p-значений в современных исследованиях:

Проблемы:

• Неправильная интерпретация. ihourglass.ru ru.wikipedia.org P-значение часто неверно понимается как вероятность того, что нулевая гипотеза верна. ru.wikipedia.org ru.ruwiki.ru
• Чувствительность к объёму выборки. ihourglass.ru P-значение может стать очень маленьким при больших объёмах выборки, даже если эффект, который оно измеряет, незначителен с практической точки зрения. ihourglass.ru
• Проблема множественных сравнений. ihourglass.ru sky.pro При проведении множества тестов на одной выборке вероятность получения хотя бы одного ложного положительного результата увеличивается. ihourglass.ru
• Отсутствие информации о размере эффекта. ihourglass.ru P-значение не сообщает о размере эффекта или его практической значимости, а только о том, насколько результаты отклоняются от нулевой гипотезы. ihourglass.ru
• Зависимость от выбранного уровня значимости. ihourglass.ru Выбор порогового значения для p-значения (например, 0,05) является произвольным и может влиять на интерпретацию результатов. ihourglass.ru
• Игнорирование контекста и практической значимости. ihourglass.ru Исследователи могут сосредоточиться только на том, чтобы p-значение было ниже уровня значимости, не принимая во внимание контекст исследования или практическую значимость результатов. ihourglass.ru
• Проблемы с повторяемостью. ihourglass.ru Результаты, которые основываются только на p-значении, могут быть трудно воспроизводимыми, так как даже небольшие изменения в данных могут значительно повлиять на p-значение. ihourglass.ru

Критика использования p-значений заключается в том, что они нередко приводят к ошибкам первого рода (ложноположительным заключениям). ru.wikipedia.org В частности, журнал Basic and Applied Social Psychology (BASP) в 2015 году запретил публикацию статей, в которых используются p-значения. ru.wikipedia.org

Некоторые специалисты предложили заменить p-значения на альтернативные метрики доказательности, такие как доверительный интервал, отношение правдоподобий или коэффициент Байеса. ru.wikipedia.org ru.ruwiki.ru