Как остаточные блоки помогают решать проблемы переобучения глубоких нейронных сетей?

Остаточные блоки помогают решать проблемы переобучения глубоких нейронных сетей несколькими способами:

• Упрощение задачи обучения. 1 Остаточные блоки позволяют каждому блоку сосредотачиваться на дополнении существующих данных, а не на выяснении всего, что касается ввода. 1
• Облегчение потока градиентов. 1 Остаточные блоки предоставляют более короткие пути для обновления каждого слоя в сети. 1 Это приводит к более быстрому обучению и лучшей производительности по сравнению с неглубокими сетями. 1
• Равномерное обучение по всем слоям. 2 За счёт «обходного» пути градиент не будет затухать при распространении от последних слоёв к начальным. 2 Таким образом, сеть, какой бы большой она ни была, будет обучаться равномерно по всем слоям. 2
• Сохранение информации в глубоких слоях. 5 Остаточные соединения заставляют глубокие слои сохранять информацию, полученную на ранних уровнях сети. 5 Это предотвращает потерю данных, предоставляя весам более широкий диапазон регулировки даже в очень глубоких слоях. 5
• Прогнозирование ансамблем. 3 Применение цепочки остаточных блоков позволяет получать результат, опираясь не на одну глубокую сеть, а задействуя целый ансамбль глубоких и неглубоких сетей. 3 Это делает прогноз более устойчивым и точным. 3