Как функция активации ReLU решает проблему исчезающих градиентов в глубоком обучении?

Функция активации ReLU (Rectified Linear Unit) решает проблему исчезающих градиентов в глубоком обучении благодаря тому, что её производные равны либо 1, либо небольшой константе для положительных значений. www.ultralytics.com

Это свойство позволяет сохранять величину градиента через глубокие слои сети, так как в положительной области сигнал не уменьшается при умножении. blog.mikihands.com

Таким образом, благодаря ReLU сеть, сколь большой бы она ни была, будет обучаться равномерно по всем слоям. proproprogs.ru