Почему проблема отрицательных значений в активации ReLU влияет на процесс обучения?

Проблема отрицательных значений в активации ReLU влияет на процесс обучения, потому что из-за нулевого градиента при отрицательных значениях веса нейронов не корректируются во время спуска. 15

Это приводит к тому, что некоторые нейроны не реагируют на изменения в ошибке или входных данных, так как градиент равен нулю и ничего не меняется. 1 Такое явление называется проблемой «умирающего ReLU». 12

Из-за этой проблемы значительная часть нейросети становится пассивной, так как «выключенные» нейроны не вносят свой вклад в обучение. 1

Чтобы решить эту проблему, существуют вариации ReLU, например Leaky ReLU, которая добавляет небольшой наклон к отрицательной области функции и позволяет градиентам проходить через неё и обновлять веса нейронов. 45