Некоторые преимущества градиентного спуска с фиксированным шагом:

• Простота реализации. 4 Для градиентного спуска достаточно построить последовательность, в которой по точке получают точку с меньшим значением функции. 4
• Возможность применения. 4 Градиентный спуск успешно используется даже когда у задачи нет определённых свойств, которые в теории гарантируют успешность применения метода. 4

Некоторые недостатки градиентного спуска с фиксированным шагом:

• Сложность выбора размера шага. 4 Если шаг очень маленький, то последовательность медленно меняется, что делает алгоритм не очень эффективным. 4 Если шаг очень большой, то линейное приближение становится плохим, а иногда и неверным. 4
• Сложность вычисления градиента на каждом шаге. 3 Она пропорциональна числу объектов выборки. 3