В чем заключается метод batch normalization при обучении нейронных сетей?

Метод Batch Normalization (пакетная нормализация) используется в глубоких нейронных сетях для улучшения скорости обучения, стабильности и сходимости. 3

Основная цель метода — решить проблему внутреннего ковариатного сдвига, который возникает, когда распределение входных данных каждого слоя меняется во время обучения из-за изменений параметров предыдущего слоя. 3 Этот сдвиг может замедлить процесс обучения и затруднить эффективное обучение на каждом уровне. 3

Суть метода заключается в нормализации входных данных каждого слоя путём вычитания среднего значения мини-пакета и деления на стандартное отклонение мини-пакета. 3 Это помогает уменьшить внутренний сдвиг ковариат, делая сеть более стабильной и позволяя ускорить обучение. 3

Некоторые преимущества использования Batch Normalization:

• Ускорение обучения. 1 Нормализация входных данных каждого слоя снижает зависимость градиентов от масштаба параметров или их начальных значений. 1
• Повышение стабильности. 1 Нормализация делает сеть менее чувствительной к масштабу входных данных и улучшает общую стабильность процесса обучения. 1
• Уменьшение зависимости от начальных значений. 1 Процесс обучения становится более стабильным и менее чувствительным к выбору начальных параметров сети. 1