В чем разница между прямым и обратным дифференцированием?

Возможно, имелись в виду различия между прямым и обратным (автоматическим) дифференцированием. stepanzh.github.io

Прямое дифференцирование — это процесс, в ходе которого вычисляются значения сложных функций, формулы для которых соответствуют вершинам графа. intuit.ru

Обратное дифференцирование (автоматическое дифференцирование назад) — это вид автоматического дифференцирования, в котором вычисления производных распространяются от результата функции к её аргументам. stepanzh.github.io

Таким образом, разница заключается в направлении вычислений: при прямом дифференцировании — от входных элементов графа к выходным, при обратном — от выходных элементов к входным. intuit.ru