Чем отличается стандартный Dropout от Inverted Dropout?

Основное отличие стандартного Dropout от Inverted Dropout заключается в том, что в стандартном Dropout в выключенных нейронах устанавливается 0, а в Inverted Dropout ещё и масштабируются активные нейроны. habr.com

В стандартном Dropout для каждого слоя, где применяется Dropout, генерируется случайная маска, на которую умножаются активации нейронов, эффективно «выключая» некоторые из них. habr.com Во время тестирования или инференции активации нейронов масштабируются на коэффициент, равный вероятности Dropout, чтобы компенсировать большее количество активных нейронов по сравнению с обучением. habr.com

В Inverted Dropout умножение на коэффициент происходит на этапе обучения, причём этот коэффициент равен обратной вероятности того, что нейрон останется в сети. neerc.ifmo.ru А на этапе тестирования выходное значение нейрона остаётся таким же, как и в методе обратного распространения ошибки. neerc.ifmo.ru

Таким образом, основное преимущество Inverted Dropout в том, что на этапе тестирования не нужно никаких модификаций или масштабирований, так как всё уже учтено на этапе обучения. aman.ai