Какую роль играет дифференцирование в машинном обучении?

Роль дифференцирования в машинном обучении заключается в следующем:

• Вычисление градиентов в алгоритмах градиентного спуска. 1 Например, при градиентном спуске производная функции затрат по отношению к параметрам модели используется для итеративного обновления параметров с целью минимизации функции затрат. 1
• Оптимизация функций затрат. 1 Производные описывают скорость изменения функции и позволяют выявить её критические точки — места, где функция перестаёт возрастать или убывать. 3
• Понимание чувствительности прогнозов модели к изменениям входных данных. 1 Например, изменение функции потерь между двумя значениями параметра можно связать с производной в некоторой точке между ними, что полезно для анализа скорости сходимости алгоритмов оптимизации и выбора шагов изменения параметров. 3