В чем преимущества пакетной нормализации перед традиционной нормализацией в нейронных сетях?

Пакетная нормализация в нейронных сетях имеет ряд преимуществ перед традиционной нормализацией, среди них:

• Более быстрое обучение. 1 Пакетная нормализация позволяет значительно повысить скорость обучения, что ускоряет сходимость процесса тренировки. 1
• Улучшенный поток градиента. 1 Стабилизация распределения активации смягчает проблемы исчезающих и взрывающихся градиентов, что приводит к более стабильному обучению, особенно в очень глубоких сетях. 1
• Эффект регуляризации. 1 Пакетная нормализация добавляет небольшую шумовую составляющую на входы слоёв благодаря статистике мини-партий. 1 Это действует как форма регуляризации, потенциально снижая потребность в других техниках, таких как Dropout. 1
• Уменьшенная чувствительность к инициализации. 1 Сети с пакетной нормализацией часто менее чувствительны к начальным весам, выбранным перед началом обучения. 1
• Возможность создавать более глубокие сети. 1 Пакетная нормализация решает проблемы, связанные с обучением глубоких архитектур, и способствует успешному обучению гораздо более глубоких моделей. 1

Однако у пакетной нормализации есть и недостатки: она зависит от размера пакета, используемого во время обучения, и может работать неоптимально с рекуррентными нейронными сетями (RNN). 3