Почему использование остаточных блоков делает нейронные сети более устойчивыми при обучении?

Использование остаточных блоков делает нейронные сети более устойчивыми при обучении по нескольким причинам:

• Решение проблемы исчезающего градиента. cpa.live www.easiio.com В традиционных нейронных сетях с увеличением количества слоёв обучение становится сложнее: градиенты либо исчезают, либо становятся нестабильными. cpa.live Остаточные блоки позволяют информации проходить напрямую через несколько слоёв, минуя некоторые вычисления. cpa.live Это ускоряет обучение и позволяет создавать сверхглубокие модели. cpa.live
• Упрощение настройки. deepmachinelearning.ru Глубокие сети сложно настраивать, поскольку чем дальше слой от выхода сети, тем менее прямая связь между весами такого слоя и выходом, так как выход слоя затем многократно преобразуется последующими слоями. deepmachinelearning.ru Добавление тождественных связей делает взаимосвязь между весами ранних слоёв и выходом более непосредственной и прямой, в результате чего эти веса быстрее и проще настраиваются. deepmachinelearning.ru
• Гладкие потери. deepmachinelearning.ru При использовании остаточных блоков ландшафт функции потерь становится более гладким, что упрощает их минимизацию. deepmachinelearning.ru Можно обучать сеть с более высоким шагом обучения, и меньше риск остановить обучение в не самом оптимальном локальном минимуме. deepmachinelearning.ru
• Прогнозирование ансамблем. deepmachinelearning.ru Применение цепочки остаточных блоков эквивалентно получению результата, опираясь не на одну единственную глубокую сеть, а задействуя целый ансамбль глубоких и неглубоких сетей, что делает прогноз более устойчивым и точным. deepmachinelearning.ru