Один из случаев, когда в процессе обучения нейронной сети не требуется изменять весовые значения, — при правильной работе сети. 3
Если нейросеть ответила верно, то ожидаемый и реальный результаты равны, а значит, ошибка равна нулю. 3 В таком случае вся добавка к весу связи также равна нулю, и вес не изменяется. 3
Однако есть и другие ситуации, когда необходимо корректировать весовые коэффициенты: 5
- Если нейросеть выдаёт неверное решение. 5 В таком случае нужно откорректировать весовые коэффициенты связи и запустить процесс заново, чтобы снизить процент ошибочных ответов. 5
- Если на вход сети поступает сильный сигнал. 3 Чем более сильный сигнал, тем сильнее изменится вес, связанный с этим входом. 3
- Если при инициализации весов используются значения, близкие к нулю. 1 В таком случае в процессе обучения может возникнуть ситуация, когда градиент малой ошибки при прохождении по слоям будет меньше технически возможной точности. 1 Для нейронов градиент ошибки превратится в ноль, и они не будут обучаться. 1