Некоторые проблемы, которые возникают при использовании персептронов для сложных задач:

• Проблема локальных минимумов. 1 Функция потерь может иметь сложный ландшафт с множеством локальных минимумов, что затрудняет нахождение глобального оптимума. 1
• Неспособность обрабатывать нелинейно разделяемые данные. 3 Персептроны не могут научиться распознавать определённые типы паттернов, которые нельзя разделить линейным способом. 3
• Переобучение. 2 Если нейронов или слоёв слишком много, сеть может переобучиться и начать передавать незначительные и несущественные детали, например, шум или ошибочные данные. 2
• Неспособность к обобщению. 2 В области, где нет или мало известных точек функции, выходной вектор будет случаен и непредсказуем, не будет адекватен решаемой задаче. 2

Для решения этих проблем применяются различные модификации градиентного спуска, такие как добавление момента или использование адаптивных методов оптимизации. 1