Некоторые методы численного дифференцирования в машинном обучении:

• Прямое дифференцирование. 1 Вычисляются производные всех вершин по всем входам, что может быть неэффективно. 1
• Обратное дифференцирование. 1 Вычисляется производная выходной вершины по всем вершинам в обратном порядке, что требует меньше вычислений. 1
• Автоматическое дифференцирование. 34 Это набор методов для оценки производных (градиентов) численно. 3 Метод использует символьные правила для дифференцирования, которые более точны, чем приближения конечной разности. 3
• Forward mode. 3 Оценивает числовую производную путём выполнения элементарных производных операций одновременно с операциями выполнения самой функции. 3
• Reverse mode. 3 Использует расширение прямого режима вычислительного графика, чтобы включить расчёт градиента противоположным обходом графика. 3

Современные фреймворки машинного обучения, например TensorFlow и PyTorch, автоматически вычисляют производные функций потерь, используя автоматическое дифференцирование. 5