Как работает метод Dropout в глубоком обучении?

Метод Dropout в глубоком обучении работает за счёт случайного «отсева» нейронов и их связей на каждом шаге обучения. www.ultralytics.com Это предотвращает чрезмерную зависимость нейронов друг от друга, заставляя сеть обучаться более надёжным и избыточным представлениям. www.ultralytics.com

Процесс работы: www.ultralytics.com

1. В процессе обучения модели Dropout случайным образом устанавливает активацию части нейронов предыдущего слоя на ноль. www.ultralytics.com
2. Коэффициент отсева — это гиперпараметр, определяющий вероятность того, что нейрон будет отсеян. www.ultralytics.com Например, коэффициент отсева 0,5 означает, что каждый нейрон с вероятностью 50% будет проигнорирован во время данной итерации обучения. www.ultralytics.com
3. Этот процесс можно представить как обучение большого количества разреженных сетей с общими весами. www.ultralytics.com
4. Постоянно изменяя архитектуру сети, Dropout предотвращает сложные коадаптации, когда выход нейрона сильно зависит от присутствия нескольких конкретных других нейронов. www.ultralytics.com Вместо этого каждый нейрон поощряется к тому, чтобы быть более независимым детектором признаков. www.ultralytics.com
5. На этапе тестирования или вывода из результатов Dropout отключается, и используются все нейроны. www.ultralytics.com
6. Чтобы компенсировать тот факт, что активны больше нейронов, чем во время обучения, выходы слоя уменьшаются на коэффициент отсева. www.ultralytics.com Таким образом, ожидаемый выход каждого нейрона остаётся неизменным между обучением и тестированием. www.ultralytics.com

Dropout предназначен для уменьшения переобучения сети за счёт предотвращения сложных коадаптаций отдельных нейронов на тренировочных данных во время обучения. ru.wikipedia.org