Некоторые ключевые трудности при использовании обратного распространения ошибки в обучении нейронных сетей:

• Паралич сети. 1 В процессе обучения значения весов могут стать очень большими величинами. 1 Это может привести к тому, что все или большинство нейронов будут функционировать в области, где производная сжимающей функции очень мала. 1 Так как посылаемая обратно в процессе обучения ошибка пропорциональна этой производной, то процесс обучения может практически замереть. 1
• Локальные минимумы. 12 Поверхность ошибки сложной сети сильно изрезана и состоит из холмов, долин, складок и оврагов в пространстве высокой размерности. 1 Сеть может попасть в локальный минимум (неглубокую долину), когда рядом имеется гораздо более глубокий минимум. 2 В точке локального минимума все направления ведут вверх, и сеть не способна из него выбраться. 2
• Размер шага. 1 Если размер шага фиксирован и очень мал, то сходимость слишком медленная, если же он фиксирован и слишком велик, то может возникнуть паралич или постоянная неустойчивость. 1
• Исчезающий градиент. 4 В глубоких сетях градиенты могут становиться очень маленькими во время обратного распространения, что затрудняет обучение сети. 4 Это обычное явление при использовании функций активации, таких как sigmoid или tanh. 4
• Переобучение. 4 Если сеть слишком сложна, она может запоминать обучающие данные вместо того, чтобы изучать общие шаблоны. 4