В чем преимущества и недостатки layer normalization по сравнению с batch normalization?

Преимущества Layer Normalization перед Batch Normalization:

• Работа на уровне отдельного примера. 3 Layer Normalization эффективна даже при обучении с переменными или маленькими размерами пакетов. 3
• Устойчивость к изменениям. 1 Layer Normalization более стабильна во время обучения, так как не требует вычисления статистики партии. 1
• Минимальные вычислительные затраты. 1 В отличие от Batch Normalization, Layer Normalization не требует дополнительных вычислений. 1
• Возможность применения к рекуррентным нейронным сетям. 1 Layer Normalization подходит для моделей на основе трансформеров, где длина входной последовательности может варьироваться. 1

Недостатки Layer Normalization перед Batch Normalization:

• Возможное замедление сходимости. 1 В некоторых случаях Layer Normalization может приводить к более медленной сходимости по сравнению с Batch Normalization, особенно при больших размерах партии и простой архитектуре сети. 1
• Необходимость настройки дополнительных гиперпараметров. 1 Layer Normalization требует настройки таких параметров, как масштаб нормализации и параметры сдвига (гамма и бета). 1

Выбор между Layer Normalization и Batch Normalization зависит от различных факторов, включая характеристики набора данных, архитектуру нейронной сети и вычислительные ограничения среды обучения. 1