Почему сигмоидальная функция становится менее эффективной в глубоких нейронных сетях?

Сигмоидная функция становится менее эффективной в глубоких нейронных сетях из-за проблемы исчезающего градиента. www.ultralytics.com zentyx.ru

Суть проблемы: при очень высоких или очень низких входных значениях градиент сигмоидальной функции становится очень маленьким (близким к нулю). www.ultralytics.com В процессе обратного распространения эти малые градиенты могут умножаться на множество слоёв, что приводит к исчезновению градиентов предыдущих слоёв и остановке обучения. www.ultralytics.com

Кроме того, у сигмоидной функции есть и другие недостатки:

• Нецентрированный вывод. zentyx.ru Выходы сигмоиды не центрированы вокруг нуля, что может привести к смещению весов в нейронной сети. zentyx.ru
• Вычислительные затраты. www.ultralytics.com Из-за экспоненциальной операции в формуле сигмоидная функция требует больше вычислительных ресурсов. zentyx.ru

Из-за этих ограничений в современных архитектурах глубокого обучения сигмоид в значительной степени был заменён другими функциями, например ReLU, для скрытых слоёв. www.ultralytics.com