Какие факторы влияют на значение MDE при проведении A/B-тестов?

Некоторые факторы, влияющие на значение MDE (Minimum Detectable Effect) при проведении A/B-тестов:

• Статистическая значимость. elama.ru Это вероятность принять ложную гипотезу. elama.ru Обычно устанавливается на уровне 5% (0,05). elama.ru
• Мощность теста. elama.ru Это вероятность правильно обнаружить реальный эффект. elama.ru Обычно выбирается на уровне 80% или выше. elama.ru
• Размер выборки. elama.ru Чем больше выборка, тем меньше MDE, так как большие выборки позволяют обнаруживать более мелкие эффекты. elama.ru
• Вариативность данных. elama.ru Если данные имеют высокую вариативность, MDE будет больше, так как труднее обнаружить малые эффекты. elama.ru

MDE влияет на количество людей в выборке и время проведения эксперимента. www.synapse-studio.ru Если MDE слишком велик, тест может не обнаружить небольшие, но потенциально важные изменения. elama.ru