В чем преимущества и недостатки layer normalization по сравнению с batch normalization?

Преимущества Layer Normalization перед Batch Normalization:

• Работа на уровне отдельного примера. yourtodo.life Layer Normalization эффективна даже при обучении с переменными или маленькими размерами пакетов. yourtodo.life
• Устойчивость к изменениям. zilliz.com Layer Normalization более стабильна во время обучения, так как не требует вычисления статистики партии. zilliz.com
• Минимальные вычислительные затраты. zilliz.com В отличие от Batch Normalization, Layer Normalization не требует дополнительных вычислений. zilliz.com
• Возможность применения к рекуррентным нейронным сетям. zilliz.com Layer Normalization подходит для моделей на основе трансформеров, где длина входной последовательности может варьироваться. zilliz.com

Недостатки Layer Normalization перед Batch Normalization:

• Возможное замедление сходимости. zilliz.com В некоторых случаях Layer Normalization может приводить к более медленной сходимости по сравнению с Batch Normalization, особенно при больших размерах партии и простой архитектуре сети. zilliz.com
• Необходимость настройки дополнительных гиперпараметров. zilliz.com Layer Normalization требует настройки таких параметров, как масштаб нормализации и параметры сдвига (гамма и бета). zilliz.com

Выбор между Layer Normalization и Batch Normalization зависит от различных факторов, включая характеристики набора данных, архитектуру нейронной сети и вычислительные ограничения среды обучения. zilliz.com