Почему метод обратного распространения ошибки может привести к локальным минимумам в процессе обучения?

Метод обратного распространения ошибки может привести к локальным минимумам в процессе обучения, потому что он использует разновидность градиентного спуска. ru.ruwiki.ru ru.wikipedia.org

Суть метода заключается в том, что он осуществляет спуск вниз по поверхности ошибки, непрерывно подстраивая веса в направлении к минимуму. ru.ruwiki.ru intuit.ru

Поверхность ошибки сложной сети сильно изрезана и состоит из холмов, долин, складок и оврагов в пространстве высокой размерности. ru.ruwiki.ru intuit.ru Сеть может попасть в локальный минимум (неглубокую долину), когда рядом имеется гораздо более глубокий минимум. ru.ruwiki.ru intuit.ru

В точке локального минимума все направления ведут вверх, и сеть не способна из него выбраться. ru.ruwiki.ru intuit.ru

Чтобы выйти из локальных минимумов, при обучении нейронных сетей используют особые приёмы, например, алгоритм имитации отжига. ru.ruwiki.ru