Критические точки играют важную роль в оптимизации, потому что согласно теореме Ферма, все локальные максимумы и минимумы непрерывной функции происходят в критических точках. 1

Таким образом, чтобы найти локальные максимумы и минимумы дифференцируемой функции, теоретически достаточно вычислить нули градиента и собственные значения матрицы Гессиана по этим нулям. 1 Это требует решения системы уравнений, что может быть сложной задачей. 1

Кроме того, когда минимизируемая функция представляет собой многомерный многочлен, критические точки и критические значения являются решениями системы полиномиальных уравнений, и современные алгоритмы для решения таких систем предоставляют конкурентоспособные сертифицированные методы нахождения глобального минимума. 1

Также при добавлении квадратичных регуляризаторов с отрицательным коэффициентом метод оптимизации штрафует за близость к критическим точкам, заставляя убегать от них. 5 Это приводит к тому, что метод не может нормально сойтись к локальным минимумам. 5