Как skip connections влияют на проблему затухающего градиента в глубоких сетях?

Skip connections помогают решить проблему затухающего градиента в глубоких сетях. elar.urfu.ru kapitsa.center

Некоторые механизмы влияния:

• Обеспечение прямого потока информации. www.analyticsvidhya.com Skip connections обеспечивают передачу данных с более ранних уровней на более поздние, что помогает сохранить градиент и способствует лучшей конвергенции. www.analyticsvidhya.com
• Упрощение работы слоёв. kapitsa.center Например, второму и третьему слою не нужно «тащить» всю информацию из карт активации первого слоя через себя, им достаточно выучить остаточную информацию, которой не хватает. kapitsa.center
• Выравнивание ландшафта ошибки. www.braintools.ru Skip connections обеспечивают более прямой путь для потока градиента и уменьшают эффективную «глубину» некоторых обходов в графе сети. www.braintools.ru В результате функции потерь сетей с skip connections имеют более плавный вид, без хаотичных резких всплесков, что наблюдаются в эквивалентных сетях без таких связей. www.braintools.ru

Таким образом, skip connections делают ландшафт функции потерь более «хорошим» для оптимизации, что облегчает процесс обучения глубоких сетей. www.braintools.ru habr.com