В чем заключаются основные отличия между стохастическим градиентным спуском и пакетной нормализацией?

Основные отличия между стохастическим градиентным спуском и пакетной нормализацией:

1. Стохастический градиентный спуск на каждой итерации алгоритма из обучающей выборки случайным образом выбирает только один объект. neerc.ifmo.ru Это позволяет корректировать веса нейронной сети, используя аппроксимацию градиента функционала, вычисленную только на одном случайном обучающем примере из выборки. habr.com
2. Пакетная нормализация нормализует входные данные каждого слоя путём вычитания среднего значения мини-пакета и деления на стандартное отклонение мини-пакета. codelabsacademy.com Это помогает уменьшить внутренний ковариационный сдвиг, делая сеть более стабильной и позволяя ускорить обучение. codelabsacademy.com www.ultralytics.com

Таким образом, стохастический градиентный спуск фокусируется на обновлении весов модели на основе одного случайно выбранного примера из обучающего набора данных, в то время как пакетная нормализация направлена на стабилизацию процесса обучения путём нормализации входных данных каждого слоя. sky.pro www.ultralytics.com