Основное отличие стандартного Dropout от Inverted Dropout заключается в том, что в стандартном Dropout в выключенных нейронах устанавливается 0, а в Inverted Dropout ещё и масштабируются активные нейроны. 1

В стандартном Dropout для каждого слоя, где применяется Dropout, генерируется случайная маска, на которую умножаются активации нейронов, эффективно «выключая» некоторые из них. 1 Во время тестирования или инференции активации нейронов масштабируются на коэффициент, равный вероятности Dropout, чтобы компенсировать большее количество активных нейронов по сравнению с обучением. 1

В Inverted Dropout умножение на коэффициент происходит на этапе обучения, причём этот коэффициент равен обратной вероятности того, что нейрон останется в сети. 2 А на этапе тестирования выходное значение нейрона остаётся таким же, как и в методе обратного распространения ошибки. 2

Таким образом, основное преимущество Inverted Dropout в том, что на этапе тестирования не нужно никаких модификаций или масштабирований, так как всё уже учтено на этапе обучения. 3