Учёт множественных сравнений при проведении маркетинговых тестов важен по нескольким причинам:
- Снижение риска ложноположительных результатов. gopractice.ru Когда проводится несколько тестов одновременно, без учёта поправок на множественное сравнение, возрастает риск получения таких результатов. roistat.com gopractice.ru
- Повышение достоверности результатов. www.calltouch.ru При множественном сравнении, когда анализируется множество разных метрик или вариантов, вероятность погрешности увеличивается. www.calltouch.ru Например, при 10 метриках вероятность совершить хотя бы одну ошибку I рода составляет 40%. www.calltouch.ru
- Контроль за шумом в данных. gopractice.ru Случайные колебания или ошибки, которые не связаны с реальными изменениями в продукте, но могут повлиять на результаты теста, также могут исказить их интерпретацию. gopractice.ru
Чтобы повысить достоверность результатов множественного сравнения, используют, например, поправку Бонферрони. www.calltouch.ru