Некоторые преимущества инициализации весов методом Xavier:

• Поддержка стабильной динамики обучения. 1 Метод помогает предотвратить проблему исчезающих и взрывающихся градиентов, которая может препятствовать обучению глубоких нейронных сетей. 1
• Предотвращение переобучения. 1 Инициализация Xavier гарантирует, что нейронная сеть начнёт обучение с хорошо масштабированными весами, что предотвращает такие проблемы, как исчезновение градиентов и насыщение нейронов. 1
• Упрощение прохождения сигнала через слой. 3 Метод упрощает прохождение сигнала как во время прямого, так и обратного распространения ошибки для линейной функции активации. 3
• Более быстрая конвергенция и высокая точность. 3 Сети, инициализированные с помощью Xavier, достигают этих результатов, например, в задаче классификации изображений CIFAR-10. 3