Как формула Тейлора применяется в машинном обучении и нейронных сетях?

Формула Тейлора применяется в машинном обучении и нейронных сетях в контексте обучения искусственных нейронных сетей. 1

На основе разложения целевой функции в ряд Тейлора разработаны параллельные методы обучения, такие как наискорейший спуск, QuickProp, RPROP, BFGS и DFP. 1

Также существует метод аппроксимации нейронных сетей полиномами Тейлора, который позволяет строить отображение из NN-функции в полиномиальную функцию, из которой легче делать выводы о поведении и обрабатывать изменения в ограничениях. 2