Какие риски связаны с неправильным интерпретацией p-значений?

Некоторые риски, связанные с неправильной интерпретацией p-значений:

• Ложные заключения о значимости результатов. ihourglass.ru P-значение может стать очень маленьким при больших объёмах выборки, даже если эффект, который оно измеряет, незначителен с практической точки зрения. ihourglass.ru
• Увеличение числа ложных положительных результатов. ihourglass.ru Это происходит, когда проводят множество тестов на одной выборке. ihourglass.ru
• Игнорирование контекста и практической значимости. ihourglass.ru Исследователи могут сосредоточиться только на том, чтобы p-значение было ниже уровня значимости, не принимая во внимание контекст исследования или практическую значимость результатов. ihourglass.ru
• Проблемы с повторяемостью. ihourglass.ru Результаты, которые основываются только на p-значении, могут быть трудно воспроизводимыми. ihourglass.ru Это связано с тем, что даже небольшие изменения в данных могут значительно повлиять на p-значение. ihourglass.ru
• Ложные открытия. sky.pro Например, когда исследователи изучают данные разными способами, пробуют разные тесты, удаляют «выбросы», добавляют ковариаты, пока не получат статистически значимый результат. sky.pro Это приводит к ложным открытиям и кризису воспроизводимости в науке. sky.pro

Чтобы избежать этих рисков, при анализе p-значений нужно рассматривать их в комбинации с доверительными интервалами, размером эффекта, мощностью теста и другими факторами. sky.pro