Основные отличия между стохастическим градиентным спуском и пакетной нормализацией:

1. Стохастический градиентный спуск на каждой итерации алгоритма из обучающей выборки случайным образом выбирает только один объект. 2 Это позволяет корректировать веса нейронной сети, используя аппроксимацию градиента функционала, вычисленную только на одном случайном обучающем примере из выборки. 1
2. Пакетная нормализация нормализует входные данные каждого слоя путём вычитания среднего значения мини-пакета и деления на стандартное отклонение мини-пакета. 3 Это помогает уменьшить внутренний ковариационный сдвиг, делая сеть более стабильной и позволяя ускорить обучение. 36

Таким образом, стохастический градиентный спуск фокусируется на обновлении весов модели на основе одного случайно выбранного примера из обучающего набора данных, в то время как пакетная нормализация направлена на стабилизацию процесса обучения путём нормализации входных данных каждого слоя. 56