Что такое диагональный метод Левенберга-Марквардта?

Диагональный метод Левенберга-Марквардта — это модификация классического метода Гаусса-Ньютона для минимизации суммы квадратов функций. yandex.ru

Метод использует корректирующий множитель, чтобы найти направление для следующего приближения. yandex.ru Направление находится по формуле, где D — диагональная матрица, главная диагональ которой совпадает с главной диагональю матрицы JtJ. yandex.ru

Поправочный множитель λ (коэффициент Марквардта) пересчитывается на каждой итерации метода, при этом он уменьшается, если целевая функция уменьшается, и увеличивается при недостаточном уменьшении или невозможности убывания целевой функции. yandex.ru

Алгоритм был сформулирован независимо Левенбергом (1944) и Марквардтом (1963). ru.wikipedia.org ru.ruwiki.ru