Почему сигмоидальная функция считается менее эффективной по сравнению с ReLU?

Сигмоидная функция считается менее эффективной по сравнению с ReLU по нескольким причинам:

• Вычислительная сложность. t.me Для вычисления сигмоидной функции необходимо найти приближение экспоненты в некоторой степени, что требует использования ряда Маклорена и увеличивает время вычислений. libeldoc.bsuir.by ReLU, в свою очередь, представляет собой простое линейное сравнение с нулём, что делает её более вычислительно эффективной. t.me
• Проблема исчезающего градиента. neerc.ifmo.ru zentyx.ru При использовании сигмоидной функции в глубоких нейронных сетях градиенты могут становиться очень маленькими, что затрудняет обучение. habr.com ReLU решает эту проблему, так как не вызывает затухания градиента при обратном распространении ошибки. habr.com
• Нецентрированный вывод. zentyx.ru Выходы сигмоиды не центрированы вокруг нуля, что может привести к смещению весов в нейронной сети. zentyx.ru

Выбор функции активации зависит от специфики задачи, для которой создаётся нейронная сеть. libeldoc.bsuir.by