Почему сигмоидальные функции не всегда подходят для глубокого обучения?

Сигмоидная функция активации не всегда подходит для глубокого обучения из-за нескольких недостатков: zentyx.ru datareview.info

• Проблема исчезающего градиента. zentyx.ru habr.com В областях, где аргумент функции очень велик, производная функции становится очень мала, что приводит к исчезающему градиенту и замедляет обучение. zentyx.ru Эта проблема усугубляется, если модель содержит много слоёв. neerc.ifmo.ru
• Насыщение сигмоиды. datareview.info При насыщении функции с той или иной стороны (0 или 1), градиент на этих участках становится близок к нулю. datareview.info Это приводит к тому, что сигнал почти не будет проходить через нейрон к его весам и рекурсивно к его данным. datareview.info
• Нецентрированный вывод. zentyx.ru datareview.info Выходы сигмоиды не центрированы вокруг нуля, что может привести к смещению весов в нейронной сети. zentyx.ru
• Вычислительная затратность. zentyx.ru Из-за экспоненциальной операции в формуле сигмоидная функция требует больше вычислительных ресурсов. zentyx.ru

В таких случаях часто используют другие функции активации, например ReLU или её вариации. zentyx.ru habr.com

Важно помнить, что нет универсальной функции активации, которая была бы лучше всех во всех сценариях. zentyx.ru Выбор всегда зависит от конкретной задачи и данных. zentyx.ru