В чём отличие dropout от других методов борьбы с переобучением нейронных сетей?

Dropout отличается от других методов борьбы с переобучением нейронных сетей тем, что он модифицирует саму сеть, в то время как другие методы, например L1 и L2, уменьшают переобучение, изменяя функцию стоимости. 2

Dropout случайным образом удаляет нейроны из сети во время обучения на каждой итерации. 2 Это эквивалентно обучению разных нейронных сетей, которые будут переобучать по-разному. 2 В результате сеть становится менее чувствительной к удельному весу нейронов, способна к лучшему обобщению и с меньшей вероятностью будет соответствовать обучающим данным. 2

Однако у dropout есть и недостаток: он увеличивает время обучения, обычно в 2–3 раза больше, чем у стандартной нейросети той же архитектуры. 1