Какие существуют методы инициализации весов в глубоких нейронных сетях?

Некоторые методы инициализации весов в глубоких нейронных сетях:

• Нулевая инициализация. www.geeksforgeeks.org Всем весам присваивается ноль. www.geeksforgeeks.org Такой вид инициализации неэффективен, так как нейроны изучают одну и ту же функцию в течение каждой итерации. www.geeksforgeeks.org
• Случайная инициализация. www.geeksforgeeks.org Нейронным путям присваиваются случайные значения, за исключением нулей. www.geeksforgeeks.org При таком подходе могут возникнуть проблемы с переобучением, исчезающим или увеличивающимся градиентом. www.geeksforgeeks.org
• Метод инициализации Xavier (иногда — метод Glorot’а). neerc.ifmo.ru Основная идея — упростить прохождение сигнала через слой во время прямого и обратного распространения ошибки для линейной функции активации. neerc.ifmo.ru Метод также хорошо работает для сигмоидной функции. neerc.ifmo.ru
• Метод инициализации Ге (He). neerc.ifmo.ru Вариация метода Xavier, больше подходящая функции активации ReLU. neerc.ifmo.ru
• Инициализация случайной ортогональной матрицей. www.mql5.com Позволяет заранее подготовить нейросеть таким образом, что каждый нейрон будет обучаться распознавать свой признак во входных данных независимо от обучения других нейронов, находящихся в том же слое. www.mql5.com
• Использование предварительно обученных нейронных сетей. www.mql5.com Для решения задачи используют сеть, обученную на тех же или похожих данных, но решающую другие задачи. www.mql5.com Из ранее обученной сети берут ряд нижних слоёв, которые уже обучены выделять признаки из исходных данных, и добавляют несколько новых слоёв нейронов, которые будут решать поставленную задачу на основе уже выделенных признаков. www.mql5.com