Как интерпретировать результаты U-критерия Манна-Уитни в A/B тестировании?

При интерпретации результатов U-критерия Манна-Уитни в A/B-тестировании важно учитывать статистику U, значение p и размер эффекта. ru.statisticseasily.com

Статистика U представляет собой сумму рангов данных из двух групп. ru.statisticseasily.com Если статистика U мала, это предполагает наличие многих низких рангов в первой группе и много высоких рангов во второй группе, что указывает на значительную разницу между двумя группами. ru.statisticseasily.com

Значение p помогает определить статистическую значимость результата теста. ru.statisticseasily.com Значение p меньше выбранного уровня значимости (обычно 0,05) предполагает, что разница между двумя группами статистически значима. ru.statisticseasily.com Таким образом, отвергают нулевую гипотезу (о том, что между двумя группами нет разницы). ru.statisticseasily.com

Размер эффекта количественно определяет размер разницы между двумя группами. ru.statisticseasily.com В контексте U-теста Манна-Уитни размер эффекта часто измеряется с использованием ранговой бисериальной корреляции. ru.statisticseasily.com Значение может находиться в диапазоне от -1 до +1. ru.statisticseasily.com Значение, близкое к |1|, указывает на большой эффект, когда ранги в одной группе постоянно выше, чем в другой. ru.statisticseasily.com

Важно осторожнее формулировать выводы. practicum.yandex.ru Например, нельзя писать: «U-тест показал, что среднее время на странице B выше». practicum.yandex.ru Правильная формулировка: «U-тест показал статистически значимое различие в распределении времени, проведённого на страницах A и B (U =…, p =…). Данные свидетельствуют о том, что пользователи имеют тенденцию проводить больше времени на странице B». practicum.yandex.ru