Как функция ReLU помогает избежать проблемы затухающих градиентов в глубоких сетях?

Функция ReLU (Rectified Linear Unit) помогает избежать проблемы затухающих градиентов в глубоких сетях благодаря своей линейной природе для положительных входов. kartaslov.ru

Проблема затухающих градиентов возникает, когда производные активационной функции становятся очень маленькими, что замедляет обновление весов во время обратного распространения ошибки и делает обучение сети затруднительным. kartaslov.ru

ReLU работает следующим образом: если входное значение положительно, оно проходит без изменений, а если отрицательно — обнуляется. dtf.ru Таким образом, градиент ReLU не сходится к нулю при больших положительных значениях, что помогает ускорить обучение глубоких нейронных сетей. zentyx.ru