Какие методы существуют для автоматического дифференцирования математических функций?

Некоторые методы автоматического дифференцирования математических функций:

• Прямой ход (forward mode). www.researchgate.net Значение производной вычисляется параллельно вычислению значения функции при движении от начала алгоритма к его концу. www.researchgate.net
• Обратный ход (backward mode). deepmachinelearning.ru Также называется методом обратного распространения ошибки (backpropagation) и является основным методом настройки нейросетей. deepmachinelearning.ru При вычислениях функции и её производных направления перемещений по вычислительному графу противоположны друг другу. www.dissercat.com
• Использование дуальных чисел. www.researchgate.net Результат вычислений представляет собой дуальное число, одна составляющая которого есть точное значение функции, а другая — точное значение производной этой же функции при том же значении аргумента. www.researchgate.net

Для автоматического дифференцирования также используются библиотеки, например PyTorch, Tensorflow и JAX. deepmachinelearning.ru