В чём отличие dropout от других методов борьбы с переобучением нейронных сетей?

Dropout отличается от других методов борьбы с переобучением нейронных сетей тем, что он модифицирует саму сеть, в то время как другие методы, например L1 и L2, уменьшают переобучение, изменяя функцию стоимости. yandex.ru

Dropout случайным образом удаляет нейроны из сети во время обучения на каждой итерации. yandex.ru Это эквивалентно обучению разных нейронных сетей, которые будут переобучать по-разному. yandex.ru В результате сеть становится менее чувствительной к удельному весу нейронов, способна к лучшему обобщению и с меньшей вероятностью будет соответствовать обучающим данным. yandex.ru

Однако у dropout есть и недостаток: он увеличивает время обучения, обычно в 2–3 раза больше, чем у стандартной нейросети той же архитектуры. moluch.ru