Какие существуют модификации градиентных методов для решения задач оптимизации?

Некоторые модификации градиентных методов для решения задач оптимизации:

• Покоординатный подъём или метод Гаусса–Зейделя. studfile.net Движение осуществляется поочерёдно по каждой отдельной координате до тех пор, пока не станет равной нулю соответствующая производная. studfile.net Все остальные координаты сохраняют постоянное значение. studfile.net После этого подъём начинается по другой координате. studfile.net Процесс заканчивается, когда все частные производные будут равны нулю (будут меньше порога чувствительности). studfile.net
• Метод наискорейшего подъёма. studfile.net Определяется градиент в исходной точке, далее подъём в этом направлении осуществляется до тех пор, пока производная в этом направлении не обратится в нуль. studfile.net После этого снова определяют градиент и осуществляют по нему подъём до нулевого значения производной и так далее. studfile.net Модификация этого метода предусматривает вычисление градиента в каждой новой точке траектории перемещения. studfile.net
• Стохастический градиентный спуск (SGD). yourtodo.life Обновление параметров происходит после вычисления градиента на основе одного обучающего примера или небольшого пакета примеров. yourtodo.life Это делает процесс быстрее и менее ресурсоёмким по сравнению со стандартным градиентным спуском. yourtodo.life