Какие методы применяются для контроля ошибок первого и второго рода при множественном тестировании?

Для контроля ошибок первого рода при множественном тестировании применяют, например, следующие методы:

• FWER (Family-wise error rate). habr.com Это вероятность того, что хотя бы один из тестов даст ложноположительный результат при истинности нулевых гипотез. habr.com
• FDR (False discovery rate). habr.com Это средняя доля ложноположительных результатов среди положительных результатов. habr.com
• Поправки Бонферрони, Холма и Бенджамини-Хохберга. glowbyteconsulting.com habr.com Они позволяют вручную скорректировать ситуацию при множественном тестировании путём уменьшения ошибки первого рода. glowbyteconsulting.com

Для контроля ошибок второго рода при множественном тестировании используют, например, такой метод:

• Стратификация. glowbyteconsulting.com Выборка разделяется на сопоставимые группы по определённым параметрам. glowbyteconsulting.com

В индустрии принято устанавливать ошибку первого рода на уровне 0,05 (или 5%), а ошибку второго рода — на уровне 0,2 (или 20%). glowbyteconsulting.com Но эти уровни нужно адаптировать под каждую конкретную ситуацию. glowbyteconsulting.com