Почему возникает паралич в процессе обучения нейронных сетей?

Паралич в процессе обучения нейронных сетей возникает из-за неограниченного увеличения весов. www.machinelearning.ru

В результате коррекции значения весов могут принять очень большие значения. molod.mephi.ru Это приводит к тому, что все или большинство нейронов начинают функционировать при очень больших значениях взвешенных сумм. molod.mephi.ru В такой ситуации производная функции активации стремится к нулю, веса не модифицируются, и сеть застревает в этом положении. www.machinelearning.ru

Чтобы избежать паралича, можно уменьшить размер шага, но при этом значительно снизится скорость процессов. take.synchronize.ru molod.mephi.ru

Также на вероятность паралича влияет сложность структуры сети: она влияет на обобщающую способность алгоритма, скорость сходимости и другие параметры. www.machinelearning.ru