В чём заключается отличие градиентного спуска от градиентного спуска с инерцией?

Основное отличие градиентного спуска от градиентного спуска с инерцией заключается в способе обновления параметров модели. vc.ru

Градиентный спуск работает с градиентом, который показывает направление, в котором функция растёт быстрее всего. blog.skillfactory.ru Вектор параметров изменяется в направлении антиградиента с заданным шагом. lms.tsu.ru Градиентному спуску требуется один проход по обучающим данным для изменения весов. lms.tsu.ru

Градиентный спуск с инерцией (Momentum) помимо текущего градиента учитывает и предыдущие направления. vc.ru Это придаёт движению устойчивость и делает спуск по сложной поверхности более гладким. vc.ru

Таким образом, градиентный спуск с инерцией позволяет в большей степени учитывать инерцию движения, накопленного за предыдущие итерации, и в меньшей степени обращать внимание на новые изменения. books.ifmo.ru