В чем разница между прямым и обратным автоматическим дифференцированием?

Разница между прямым и обратным автоматическим дифференцированием заключается в направлении вычислений. docs.exponenta.ru stepanzh.github.io

Прямое автоматическое дифференцирование (forward mode) оценивает числовую производную путём выполнения элементарных производных операций одновременно с операциями выполнения самой функции. docs.exponenta.ru Чтобы вычислить целый градиент, необходимо пересечь график дважды, по одному разу для частной производной относительно каждой независимой переменной. docs.exponenta.ru

Обратное автоматическое дифференцирование (backward mode, reverse accumulation) распространяет вычисления производных от результата функции к её аргументам. stepanzh.github.io Для скалярной функции многих переменных обратный режим вычисляет градиент более эффективно, чем прямой. docs.exponenta.ru

Прямой метод реализуется достаточно прямолинейно: вводится новый тип данных, который содержит не только значение переменной, но и все значения её производных по одной или нескольким входным переменным. www.isa.ru Обратный метод более сложен в реализации: при вычислении функции необходимо записать в память результаты вычисления каждой основной элементарной функции, создавая «информационный граф», а затем пройти этот граф в обратном порядке, вычисляя производные. www.isa.ru