Градиентный спуск не гарантирует нахождения глобального минимума, потому что может найти локальный минимум и остановиться на нём, если выполняются пороговые условия. 4 Это зависит от таких факторов, как форма функции, первоначально выбранные случайные параметры, скорость обучения и другие. 4

Также не гарантируется достижение даже ближайшего локального минимума, так как функция может иметь седловые точки, в которых она застревает или убегает в бесконечность (локальный минимум есть, но глобального минимума нет). 2

Однако стоит отметить, что для некоторых функций, например невыпуклых, существует траекторный анализ, который в зависимости от начальной точки и размера шага может показать сходимость к локальным или глобальным минимумам. 2

Для устранения ошибок градиентного спуска используют специальные модификации алгоритма. 1