Почему градиентный спуск может застревать в локальных минимумах?

Градиентный спуск может застревать в локальных минимумах по нескольким причинам:

• Форма функции. www.reg.ru Если функция имеет форму сложной кривой, градиентный спуск может «застрять» в одном из её углублений — локальном экстремуме. www.reg.ru
• Седловые точки. www.reg.ru habr.com В них в одном направлении функция возрастает, а в другом — убывает. www.reg.ru Область, окружающая седловую точку, как правило, довольно плоская и напоминает плато с практически нулевыми градиентами. habr.com Оптимизатор начинает колебаться вокруг седловой точки и ошибочно полагает, что минимум им найден. habr.com
• Малый градиент. stats.stackexchange.com Если градиент функций стоимости большинства партий в определённой точке достаточно мал, то алгоритм не сможет выйти из локального минимума. stats.stackexchange.com У партий просто не хватит силы, чтобы вытолкнуть точку из этого более глубокого минимума. stats.stackexchange.com

Для решения проблемы с застреванием в локальных минимумах можно использовать стохастический градиент с импульсом, который использует взвешенную сумму градиентов, чтобы помочь выйти из локальных минимумов. dzen.ru

Пользователь

Время добавления