Некоторые преимущества использования U-критерия Манна-Уитни в A/B-тестировании:
- Непараметричность. habr.com Если данные в A/B-тесте не из нормального распределения, то t-критерий Стьюдента использовать нельзя. habr.com В этом случае подойдёт U-критерий Манна-Уитни. habr.com
- Робастность. habr.com В данных часто бывает много шумов и выбросов, поэтому t-критерий неприменим по соображениям мощности, чувствительности или ненормальности данных. habr.com В такой ситуации U-критерий Манна-Уитни более вероятно находит статистически значимый эффект. habr.com
Однако у этого критерия есть и недостатки: он может давать больше ложноположительных результатов, чем t-критерий Стьюдента, и чаще обнаруживает эффект, чем тот же t-критерий. habr.com en.wikipedia.org