Почему ReLU стал популярной функцией активации в сверточных нейронных сетях?

ReLU (Rectified Linear Unit) стал популярной функцией активации в свёрточных нейронных сетях по нескольким причинам:

• Устранение проблемы исчезающего градиента. 1 В отличие от других функций активации, градиент ReLU не сходится к нулю при больших положительных значениях, что помогает ускорить обучение глубоких нейронных сетей. 1
• Вычислительная эффективность. 1 ReLU требует меньше вычислительных ресурсов, так как включает в себя простые операции сравнения и присвоения, в отличие от экспоненциальных вычислений в других функциях. 1
• Способность к разреженности активаций. 1 В ReLU все отрицательные входы обнуляются, что приводит к разреженности активаций в нейронной сети. 1 Это может улучшить эффективность и уменьшить переобучение. 1
• Хорошие практические результаты. 1 Во многих практических приложениях, особенно в глубоких нейронных сетях, ReLU показала отличные результаты, опережая другие функции активации. 1

Кроме того, ReLU помогает модели лучше справляться со сложными задачами, так как нелинейные функции позволяют нейронной сети моделировать более сложные зависимости. 4