Разница между естественным и искусственным градиентным алгоритмом заключается в их характеристиках и использовании:

• Естественный градиентный алгоритм — это метод второго порядка, в отличие от стохастического градиентного спуска (SGD), который является методом первого порядка. 2 На практике это означает меньше итераций для сходимости, но гораздо больше вычислений за итерацию. 2
• Стохастический градиентный спуск (SGD) использует на каждой итерации только одну часть данных из всего множества, причём эта часть выбирается на каждом шаге случайно. 1 Это ключевое различие по сравнению со стандартным (пакетным) градиентным спуском. 1

Таким образом, естественный градиентный алгоритм предполагает больше вычислений за итерацию, но требует меньше итераций для сходимости, в то время как SGD использует метод первого порядка и на каждой итерации использует только одну часть данных. 2