Почему проблема исчезающего градиента особенно важна при использовании сигмоидальной функции?

Проблема исчезающего градиента особенно важна при использовании сигмоидальной функции, потому что она приводит к медленному или заторможенному обучению, особенно в глубоких сетях. www.easiio.com

Причина проблемы — в свойствах производной сигмоидальной функции. libeldoc.bsuir.by Она крайне мала во всех точках, кроме сравнительно небольшого промежутка. neerc.ifmo.ru За пределами этого диапазона функция становится более плоской, что приводит к очень маленьким градиентам. libeldoc.bsuir.by

В процессе обратного распространения эти малые градиенты могут умножаться на множество слоёв. www.ultralytics.com Это приводит к исчезновению градиентов предыдущих слоёв, что эффективно останавливает обучение. www.ultralytics.com

Из-за этой проблемы сигмоидальная функция в современных архитектурах глубокого обучения часто заменяется другими функциями активации, например ReLU. www.easiio.com www.ultralytics.com