Что такое диагональный метод Левенберга-Марквардта?

Диагональный метод Левенберга-Марквардта — это модификация классического метода Гаусса-Ньютона для минимизации суммы квадратов функций. 1

Метод использует корректирующий множитель, чтобы найти направление для следующего приближения. 1 Направление находится по формуле, где D — диагональная матрица, главная диагональ которой совпадает с главной диагональю матрицы JtJ. 1

Поправочный множитель λ (коэффициент Марквардта) пересчитывается на каждой итерации метода, при этом он уменьшается, если целевая функция уменьшается, и увеличивается при недостаточном уменьшении или невозможности убывания целевой функции. 1

Алгоритм был сформулирован независимо Левенбергом (1944) и Марквардтом (1963). 34