Какие преимущества и недостатки имеет градиентный спуск с фиксированным шагом?

Некоторые преимущества градиентного спуска с фиксированным шагом:

• Простота реализации. habr.com Для градиентного спуска достаточно построить последовательность, в которой по точке получают точку с меньшим значением функции. habr.com
• Возможность применения. habr.com Градиентный спуск успешно используется даже когда у задачи нет определённых свойств, которые в теории гарантируют успешность применения метода. habr.com

Некоторые недостатки градиентного спуска с фиксированным шагом:

• Сложность выбора размера шага. habr.com Если шаг очень маленький, то последовательность медленно меняется, что делает алгоритм не очень эффективным. habr.com Если шаг очень большой, то линейное приближение становится плохим, а иногда и неверным. habr.com
• Сложность вычисления градиента на каждом шаге. deepmachinelearning.ru Она пропорциональна числу объектов выборки. deepmachinelearning.ru