В чем заключаются преимущества и недостатки применения метода dropout в обучении нейросетей?

Преимущества применения метода Dropout в обучении нейросетей:

• Предотвращение переобучения. 15 Dropout случайным образом отключает нейроны во время обучения, что снижает зависимость сети от определённых нейронов и улучшает способность модели обобщаться на новые данные. 1
• Эффект ансамбля. 1 Dropout можно рассматривать как обучение ансамбля сетей меньшего размера. 1 На каждой итерации обучения используется другая подсеть, что помогает модели изучать более надёжные функции. 1
• Улучшение представления данных. 1 Dropout приводит к появлению шума во время обучения, который можно рассматривать как форму увеличения объёма данных. 1 Этот шум заставляет сеть изучать более общие функции, повышая её производительность при работе с невидимыми данными. 1

Некоторые недостатки применения метода Dropout:

• Более длительное время обучения. 12 Dropout увеличивает время обучения, поскольку сети необходимо обучаться с разными подмножествами нейронов на каждой итерации. 1
• Сложность оптимизации. 1 Случайность, возникающая при Dropout, может усложнить оптимизацию. 1
• Настройка гиперпараметров. 1 В Dropout вводятся дополнительные гиперпараметры, такие как коэффициент отсева, которые необходимо тщательно настраивать. 1
• Избыточность с пакетной нормализацией. 1 Пакетная нормализация иногда может заменить эффекты Dropout. 1