Статистическая значимость в A/B-тестировании используется для определения надёжности полученных результатов. 5 Она показывает, с какой вероятностью тот факт, что улучшенная версия тестируемой страницы имеет более высокие оценки, не будет случайным. 2

Вот как это помогает сделать заключение:

• 95–100% — высокая статистическая значимость, внесённые изменения стоит применить на сайте. 2
• 90–95% — результат имеет невысокий процент значимости для статистики, рекомендуется делать корректировки осторожно, а лучше повторить A/B-тестирование. 2
• Менее 90% — данные не значимы для статистики, не рекомендуется вносить такие изменения. 2

Также статистическая значимость позволяет рассчитать размер выборки, которая понадобится для достижения статистически значимых результатов A/B-теста. 5