Принцип dropout в алгоритмах глубокого обучения заключается в случайном отключении части нейронов на определённом слое во время обучения. 14 Это временно удаляет их из сети и предотвращает совместную адаптацию между скрытыми слоями, которая приводит к переобучению сети. 2

Для учёта отключённых нейронов выходы оставшихся активных нейронов масштабируются на коэффициент, равный вероятности сохранения активности нейрона (например, если отключено 50%, то оставшиеся умножаются на 2). 1

Преимущества dropout:

• Предотвращает переобучение. 1 Случайное отключение нейронов не позволяет сети слишком полагаться на конкретные связи между ними. 1
• Создаёт эффект ансамбля. 1 Dropout действует как обучение ансамбля нейронных сетей меньшего размера с разной структурой на каждой итерации. 1 Это улучшает способность модели обобщать на невидимые данные. 1
• Улучшает представление данных. 1 Методы dropout вводят шум, генерируют дополнительные обучающие примеры и повышают эффективность модели во время обучения. 1