Пакетная нормализация эффективна при обучении глубоких нейронных сетей, потому что она помогает решить проблему внутреннего ковариационного сдвига. 35 Это изменение распределения входных данных каждого слоя во время обучения из-за изменений параметров предыдущего слоя. 3 Такой сдвиг может замедлить процесс обучения и затруднить эффективное обучение на каждом уровне. 3

Некоторые преимущества пакетной нормализации:

• Более быстрое обучение. 1 Нормализуя входы каждого слоя, пакетная нормализация позволяет использовать более высокую скорость обучения без риска того, что градиенты взорвутся или исчезнут. 1
• Улучшенный поток градиентов. 1 Пакетная нормализация улучшает поток градиентов через сеть, что помогает в обучении более глубоких сетей. 1
• Уменьшение зависимости от инициализации. 1 Глубинные сети могут быть чувствительны к инициализации параметров. 1 Пакетная нормализация снижает эту чувствительность, делая обучение менее зависимым от начальных условий. 1
• Эффект регуляризации. 1 Пакетная нормализация добавляет в сеть небольшое количество шума, что может оказать эффект регуляризации, уменьшая перебор и улучшая обобщение на невидимых данных. 1