Как работает автоматическое дифференцирование в современных математических программах?

Автоматическое дифференцирование в современных математических программах работает на основе того, что каждое компьютерное вычисление, каким бы сложным оно ни было, выполняет последовательность элементарных арифметических операций (сложение, вычитание, умножение, деление и т. д.) и элементарных функций (exp, log, sin, cos и т. д.). en.wikipedia.org

Алгоритм автоматического дифференцирования основан на идее обратного распространения ошибки, цепном правиле дифференцирования и аналитических формулах вычисления производных по различным операциям преобразования. www.braintools.ru

Основная идея алгоритма: www.braintools.ru

1. Сначала вычисляется значение производной самого последнего операнда относительно значения функции ошибки. www.braintools.ru Для значения функции ошибки оно равно 1, так как это производная функции ошибки относительно самой себя. www.braintools.ru
2. Далее это значение производной используется для вычисления производной операндов, которые участвовали в создании значения функции ошибки. www.braintools.ru Это происходит по цепному правилу. www.braintools.ru
3. Далее алгоритм повторяется для родительских узлов, до тех пор, пока не будут обработаны все узлы в графе. www.braintools.ru

Существуют два типа дифференцирования: прямое и обратное. github.com

В прямом дифференцировании вычисляются производные всех вершин по всем входам, что может быть неэффективно. github.com

В обратном дифференцировании вычисляется производная выходной вершины по всем вершинам в обратном порядке, что требует меньше вычислений. github.com