Как ReLU решает проблему затухания градиента в глубоких нейронных сетях?

ReLU помогает решить проблему затухания градиента в глубоких нейронных сетях, потому что градиент этой функции не сходится к нулю при больших положительных значениях. yourtodo.life

В обычных функциях активации, например сигмоидной и Tanh, производные становятся очень маленькими, когда входные данные попадают в насыщенные области. www.geeksforgeeks.org www.ultralytics.com Это приводит к тому, что обновления весов становятся незначительными, и сеть обучается очень медленно или вообще не обучается. github.com www.ultralytics.com

ReLU работает иначе: для положительного ввода градиент этой функции равен 1, а для отрицательного и нулевого ввода — 0. www.geeksforgeeks.org Таким образом, плохие значения ввода заменяются на 0, а точные — на 1, что сохраняет входные данные неизменными. www.geeksforgeeks.org