Преимущества метода градиентного спуска для поиска минимума квадратичной функции:

• простота и универсальность; 1
• возможность применения к различным типам функций; 1
• низкие вычислительные затраты на итерацию. 1

Недостатки метода:

• медленная сходимость в задачах с плохо обусловленной гессианой; 1
• чувствительность к выбору шага; 1
• возможность застревания в локальных минимумах для невыпуклых функций. 1

Несмотря на недостатки, метод градиентного спуска находит применение в задачах с большим числом параметров и сложными функциями. 1

Также к недостатку можно отнести ограниченную область применимости, так как у метода есть главный недостаток — медленная скорость сходимости. 45