Какие основные методы нахождения производных используются в современных алгоритмах машинного обучения?

Некоторые методы нахождения производных, которые используются в современных алгоритмах машинного обучения:

• Градиентный спуск. proglib.io На каждом шагу метод рассчитывает градиент в определённой точке пространства весов и переходит в следующую точку, двигаясь по направлению вектора градиента. proglib.io
• Цепное правило вычисления производной. proglib.io Позволяет находить производную сложной функции. proglib.io С его помощью можно представить производную по каждому весу в виде произведения более простых элементов (производных функции потерь и функций активации нейронов по их параметрам). proglib.io
• Метод обратного распространения ошибки (back-propagation). proglib.io На обратном проходе считается производная функции потерь по весам с помощью цепного правила вычисления. proglib.io
• Дифференцирование напрямую. deepmachinelearning.ru Можно вычислять градиент вручную и программно реализовывать расчёт найденных производных, а можно доверить вычисление градиента библиотекам символьного дифференцирования. deepmachinelearning.ru
• Численная аппроксимация. deepmachinelearning.ru Позволяет находить градиент, используя численное приближение производных. deepmachinelearning.ru