В чем заключается принцип dropout в алгоритмах глубокого обучения?

Принцип dropout в алгоритмах глубокого обучения заключается в случайном отключении части нейронов на определённом слое во время обучения. www.geeksforgeeks.org saturncloud.io Это временно удаляет их из сети и предотвращает совместную адаптацию между скрытыми слоями, которая приводит к переобучению сети. moluch.ru

Для учёта отключённых нейронов выходы оставшихся активных нейронов масштабируются на коэффициент, равный вероятности сохранения активности нейрона (например, если отключено 50%, то оставшиеся умножаются на 2). www.geeksforgeeks.org

Преимущества dropout:

• Предотвращает переобучение. www.geeksforgeeks.org Случайное отключение нейронов не позволяет сети слишком полагаться на конкретные связи между ними. www.geeksforgeeks.org
• Создаёт эффект ансамбля. www.geeksforgeeks.org Dropout действует как обучение ансамбля нейронных сетей меньшего размера с разной структурой на каждой итерации. www.geeksforgeeks.org Это улучшает способность модели обобщать на невидимые данные. www.geeksforgeeks.org
• Улучшает представление данных. www.geeksforgeeks.org Методы dropout вводят шум, генерируют дополнительные обучающие примеры и повышают эффективность модели во время обучения. www.geeksforgeeks.org