Как batch normalization влияет на производительность нейросетей?

Batch Normalization положительно влияет на производительность нейросетей. 15 Некоторые преимущества:

• Ускорение обучения. 1 Нормализация входных данных каждого слоя снижает зависимость градиентов от масштаба параметров или их начальных значений. 1 В результате обучение нейронной сети становится значительно быстрее. 1
• Повышение стабильности. 1 Нормализация делает сеть менее чувствительной к масштабу входных данных и улучшает общую стабильность процесса обучения. 1 Это особенно важно для глубоких нейронных сетей, где малейшие изменения в начале обучения могут привести к значительным различиям в конечных результатах. 1
• Уменьшение зависимости от начальных значений. 1 Batch Normalization уменьшает зависимость модели от начальных значений весов. 1 Процесс обучения становится более стабильным и менее чувствительным к выбору начальных параметров сети. 1
• Уменьшение переобучения. 4 Batch Normalization действует как форма регуляризации, уменьшая зависимость от отсева или других методов регуляризации, тем самым помогая в некоторой степени предотвратить переобучение. 4
• Возможность создания более глубоких сетей. 2 Решая проблемы, связанные с обучением глубоких архитектур, Batch Normalization способствует успешному обучению гораздо более глубоких моделей. 2

Однако у метода есть и недостатки: эффективность пакетной нормализации зависит от размера пакета, используемого во время обучения. 4 Очень маленькие размеры пакетов могут привести к неточным оценкам статистики мини-пакета, влияя на его производительность. 4 Кроме того, пакетная нормализация может работать неоптимально с рекуррентными нейронными сетями (RNN) из-за последовательного характера их вычислений. 4