Почему градиентный спуск не гарантирует нахождения глобального минимума?

Градиентный спуск не гарантирует нахождения глобального минимума, потому что может найти локальный минимум и остановиться на нём, если выполняются пороговые условия. habr.com Это зависит от таких факторов, как форма функции, первоначально выбранные случайные параметры, скорость обучения и другие. habr.com

Также не гарантируется достижение даже ближайшего локального минимума, так как функция может иметь седловые точки, в которых она застревает или убегает в бесконечность (локальный минимум есть, но глобального минимума нет). math.stackexchange.com

Однако стоит отметить, что для некоторых функций, например невыпуклых, существует траекторный анализ, который в зависимости от начальной точки и размера шага может показать сходимость к локальным или глобальным минимумам. math.stackexchange.com

Для устранения ошибок градиентного спуска используют специальные модификации алгоритма. blog.skillfactory.ru

Пользователь

Время добавления