Какие существуют модификации метода градиентного спуска для обучения нейронных сетей?

Некоторые модификации метода градиентного спуска для обучения нейронных сетей:

• Стохастический градиентный спуск (SGD). 2 Веса модели обновляются на основе одного случайно выбранного примера из обучающего набора данных. 2 Это делает процесс обучения более шумным, но помогает избежать локальных минимумов. 2
• Мини-батч градиентный спуск. 2 Представляет собой компромисс между обычным градиентным спуском и стохастическим. 2 Веса обновляются на основе небольших подмножеств данных (батчей), что позволяет ускорить обучение и улучшить стабильность. 2
• Добавление моментума, или импульса. 1 Вместо расчёта новых градиентов используется среднее по прошлым градиентам, что помогает стабилизировать и ускорить обучение. 1
• Адаптивные методы. 2 Такие как Adam, RMSprop и Adagrad, автоматически изменяют скорость обучения в процессе тренировки. 2 Они учитывают историю градиентов и адаптируют шаги обучения для каждого параметра модели. 2
• Ускоренный градиент Нестерова (NAG). 3 Является продолжением импульсного градиентного спуска. 3 Оценивает градиент в гипотетическом положении перед текущим положением на основе текущего вектора импульса, что может привести к более быстрой конвергенции и повышению производительности. 3