Контроль вероятности ошибок первого и второго рода в статистических тестах важен, потому что такие ошибки могут приводить к ненадёжным результатам и ошибкам в принятии решений. 1

Ошибки первого рода заключаются в том, что тест показывает, что эффект есть, хотя на самом деле его нет. 4 Например, если уровень ошибок первого рода у теста составляет один случай на десять тысяч, но в тестируемой группе образцов вероятность «истинно-положительных» случаев составляет в среднем один случай на миллион, то большинство положительных результатов этого теста будут ложными. 1

Ошибки второго рода заключаются в том, что тест не отклоняет нулевую гипотезу, когда на самом деле она неверна. 4 Например, если тест с 10%-ным уровнем ошибок второго рода используется для обследования группы, где вероятность «истинно-положительных» случаев составляет 70%, то многие отрицательные результаты теста окажутся ложными. 1

В статистических тестах обычно приходится идти на компромисс между приемлемым уровнем ошибок первого и второго рода. 1 Зачастую для принятия решения используется пороговое значение, которое может варьироваться с целью сделать тест более строгим или, наоборот, более мягким. 1