Почему сигмоидальная функция считается менее эффективной по сравнению с ReLU?

Сигмоидная функция считается менее эффективной по сравнению с ReLU по нескольким причинам:

• Вычислительная сложность. 5 Для вычисления сигмоидной функции необходимо найти приближение экспоненты в некоторой степени, что требует использования ряда Маклорена и увеличивает время вычислений. 1 ReLU, в свою очередь, представляет собой простое линейное сравнение с нулём, что делает её более вычислительно эффективной. 5
• Проблема исчезающего градиента. 23 При использовании сигмоидной функции в глубоких нейронных сетях градиенты могут становиться очень маленькими, что затрудняет обучение. 4 ReLU решает эту проблему, так как не вызывает затухания градиента при обратном распространении ошибки. 4
• Нецентрированный вывод. 3 Выходы сигмоиды не центрированы вокруг нуля, что может привести к смещению весов в нейронной сети. 3

Выбор функции активации зависит от специфики задачи, для которой создаётся нейронная сеть. 1