Можете, пожалуйста, доступным языком объяснить метод сопряженных градиентов? в чем его суть? почему используется при машинном обучении?

Метод сопряжённых градиентов — это метод нахождения локального экстремума функции на основе информации о её значениях и её градиенте. {7-host} {9-host}

Суть метода в том, что он сочетает в себе понятия градиента целевой функции и сопряжённых направлений. masters.donntu.ru Для квадратичных функций метод сопряжённых градиентов находит минимум за определённое количество шагов (размерность пространства поиска). basegroup.ru Для функций общего вида алгоритм перестаёт быть конечным и становится итеративным. basegroup.ru

Метод используется в машинном обучении, потому что он применяется для решения крупномасштабных линейных систем уравнений и задач нелинейной оптимизации. dzen.ru В этом случае используется обучение по эпохам: при вычислении целевой функции предъявляются все шаблоны обучающего множества и вычисляется средний квадрат функции ошибки (или её модификация). masters.donntu.ru То же самое — при вычислении градиента, то есть используется суммарный градиент по всему обучающему набору. masters.donntu.ru Градиент для каждого примера вычисляется с использованием алгоритма обратного распространения. masters.donntu.ru