How to интерпретировать результаты статистического анализа с поправкой на множественные сравнения?

Интерпретация результатов статистического анализа с поправкой на множественные сравнения включает учёт того, что при проведении нескольких тестов увеличивается вероятность получить значимый результат случайно. sky.pro

Для контроля общего уровня ошибок (не превышая 5% для всей серии тестов) используют корректировки значения альфа. habr.com Один из методов — поправка Бонферрони, при которой уровень значимости p делится на количество тестов. habr.com

Пример интерпретации: тестируют новый маркетинговый подход и получают p-value = 0,03 при сравнении конверсии в контрольной и экспериментальной группах. sky.pro Корректная интерпретация: «При условии, что новый маркетинговый подход не влияет на конверсию (нулевая гипотеза), вероятность наблюдать различие в конверсии, равное или превышающее фактически наблюдаемое, составляет 3%. sky.pro Поскольку эта вероятность ниже выбранного уровня значимости α = 0,05, мы отклоняем нулевую гипотезу и заключаем, что новый маркетинговый подход статистически значимо влияет на конверсию». sky.pro

Также при интерпретации результатов учитывают пороговые значения p-value: sky.pro

• p ≤ 0,05: результат статистически значим (отклоняют нулевую гипотезу); sky.pro
• 0,05 < p ≤ 0,1: результат находится на границе значимости (маргинальная значимость); sky.pro
• p > 0,1: результат статистически не значим (не отклоняют нулевую гипотезу). sky.pro

Для наглядного представления результатов и облегчения интерпретации используют графики. sky.pro Рекомендуется привлекать экспертов предметной области. sky.pro