Некоторые модификации градиентного спуска для решения сложных задач оптимизации:

• Градиентный спуск с моментом. 14 Учёт предыдущих изменений параметров модели при текущем обновлении. 1 Это придаёт «инерцию» обучению, что помогает алгоритму ускоряться в плоских областях и эффективнее преодолевать локальные минимумы. 1
• Nesterov Accelerated Gradient. 1 Подход учитывает направление градиента в будущем шаге, что позволяет более эффективно корректировать параметры. 1 Помогает избежать «перепрыгивания» через минимум, делая движение к глобальному минимуму более точным. 1
• Адаптивные методы. 1 Например, AdaGrad, RMSprop, Adam. 1 Они адаптируют скорость обучения индивидуально для каждого параметра, что помогает более эффективно оптимизировать «сложные» параметры. 1
• Стохастический градиентный спуск. 2 Используется для увеличения устойчивости получаемого результата в задачах калибровки моделей. 2 В процессе градиентного спуска для обновления части или всего набора параметров модели используются поднаборы данных для наблюдений. 2
• Метод оврагов. 3 Используется, когда метод градиентного спуска оказывается очень медленным при движении по оврагу. 3 После двух шагов градиентного спуска и получения трёх точек, третий шаг делается в направлении вектора, соединяющего первую и третью точки, вдоль дна оврага. 3
• Метод сопряжённых градиентов. 3 Эффективен для функций, близких к квадратичным. 3 Также для этих целей может использоваться метод коллинеарных градиентов. 3