Почему Batch Normalization улучшает стабильность нейронных сетей?

Batch Normalization улучшает стабильность нейронных сетей несколькими способами:

• Решает проблему внутреннего ковариатного сдвига. 4 Во время обучения из-за изменений параметров предыдущего слоя меняется распределение входных данных текущего слоя. 24 Этот сдвиг может замедлить процесс обучения и затруднить эффективное обучение на каждом уровне. 4 Batch Normalization помогает уменьшить этот сдвиг, делая сеть более стабильной. 4
• Стабилизирует поток градиента. 14 Стабилизируя распределения активации, Batch Normalization смягчает проблемы исчезающих и взрывающихся градиентов, что приводит к более стабильному обучению, особенно в очень глубоких сетях. 1
• Сглаживает функцию потерь. 3 Это повышает скорость обучения модели за счёт оптимизации параметров модели. 3
• Уменьшает чувствительность к инициализации. 1 Сети с Batch Normalization часто менее чувствительны к начальным весам, выбранным перед началом обучения. 1
• Позволяет создавать более глубокие сети. 1 Решая проблемы, связанные с обучением глубоких архитектур, Batch Normalization способствует успешному обучению гораздо более глубоких моделей. 1

Эффективность Batch Normalization может варьироваться в зависимости от сетевой архитектуры, распределения данных и конкретных случаев использования. 4