Некоторые методы инициализации весов в глубоких нейронных сетях:

• Нулевая инициализация. 1 Всем весам присваивается ноль. 1 Такой вид инициализации неэффективен, так как нейроны изучают одну и ту же функцию в течение каждой итерации. 1
• Случайная инициализация. 1 Нейронным путям присваиваются случайные значения, за исключением нулей. 1 При таком подходе могут возникнуть проблемы с переобучением, исчезающим или увеличивающимся градиентом. 1
• Метод инициализации Xavier (иногда — метод Glorot’а). 4 Основная идея — упростить прохождение сигнала через слой во время прямого и обратного распространения ошибки для линейной функции активации. 4 Метод также хорошо работает для сигмоидной функции. 4
• Метод инициализации Ге (He). 4 Вариация метода Xavier, больше подходящая функции активации ReLU. 4
• Инициализация случайной ортогональной матрицей. 2 Позволяет заранее подготовить нейросеть таким образом, что каждый нейрон будет обучаться распознавать свой признак во входных данных независимо от обучения других нейронов, находящихся в том же слое. 2
• Использование предварительно обученных нейронных сетей. 2 Для решения задачи используют сеть, обученную на тех же или похожих данных, но решающую другие задачи. 2 Из ранее обученной сети берут ряд нижних слоёв, которые уже обучены выделять признаки из исходных данных, и добавляют несколько новых слоёв нейронов, которые будут решать поставленную задачу на основе уже выделенных признаков. 2