Некоторые модификации градиентных методов для решения задач оптимизации:

• Покоординатный подъём или метод Гаусса–Зейделя. 3 Движение осуществляется поочерёдно по каждой отдельной координате до тех пор, пока не станет равной нулю соответствующая производная. 3 Все остальные координаты сохраняют постоянное значение. 3 После этого подъём начинается по другой координате. 3 Процесс заканчивается, когда все частные производные будут равны нулю (будут меньше порога чувствительности). 3
• Метод наискорейшего подъёма. 3 Определяется градиент в исходной точке, далее подъём в этом направлении осуществляется до тех пор, пока производная в этом направлении не обратится в нуль. 3 После этого снова определяют градиент и осуществляют по нему подъём до нулевого значения производной и так далее. 3 Модификация этого метода предусматривает вычисление градиента в каждой новой точке траектории перемещения. 3
• Стохастический градиентный спуск (SGD). 1 Обновление параметров происходит после вычисления градиента на основе одного обучающего примера или небольшого пакета примеров. 1 Это делает процесс быстрее и менее ресурсоёмким по сравнению со стандартным градиентным спуском. 1