Метод сопряжённых градиентов — это метод нахождения локального экстремума функции на основе информации о её значениях и её градиенте. 79

Суть метода в том, что он сочетает в себе понятия градиента целевой функции и сопряжённых направлений. 2 Для квадратичных функций метод сопряжённых градиентов находит минимум за определённое количество шагов (размерность пространства поиска). 5 Для функций общего вида алгоритм перестаёт быть конечным и становится итеративным. 5

Метод используется в машинном обучении, потому что он применяется для решения крупномасштабных линейных систем уравнений и задач нелинейной оптимизации. 3 В этом случае используется обучение по эпохам: при вычислении целевой функции предъявляются все шаблоны обучающего множества и вычисляется средний квадрат функции ошибки (или её модификация). 2 То же самое — при вычислении градиента, то есть используется суммарный градиент по всему обучающему набору. 2 Градиент для каждого примера вычисляется с использованием алгоритма обратного распространения. 2