Для расчёта необходимого размера выборки при проведении A/B-тестирования можно воспользоваться онлайн-калькуляторами. 5 Например, калькулятор достоверности А/B-тестов на сайте mindbox.ru. 1

Для расчёта нужно указать следующие параметры: 5

• Базовый коэффициент конверсии (Baseline conversion rate) — сколько процентов посетителей переходит по тестируемому объекту на данный момент. 5 Например, если тестируется клик-райтинг, можно взять среднее значение этого показателя за последние полгода. 1
• Минимальный обнаруживаемый эффект (Minimum Detectable Effect) — какую разницу хотелось бы видеть между тестируемыми вариантами. 5 Например, вариант B лучше А, если по нему кликают на 10% чаще. 5
• Статистическую мощность теста (Statistical power) — коэффициент, который показывает, насколько точные результаты нужны. 5 Обычно по умолчанию выбирают 80%, что позволяет интерпретировать результаты теста однозначно. 5
• Ожидаемый прирост конверсии (Significance level) — насколько нужно увеличить конверсию тестируемого объекта. 5 Обычно выставляют 5%, чтобы не делать выборку слишком большой. 5

Также при определении размера выборки стоит учитывать, что чем меньше процент доверительного интервала, тем более точные результаты хочется получить, тем больше будет нужная выборка. 4