Какие недостатки имеют сигмоида и tanh функции при использовании в глубоких нейронных сетях?

Некоторые недостатки сигмоиды при использовании в глубоких нейронных сетях:

• Исчезающий градиент. 14 В областях, где размер входных данных очень велик, производная функции становится очень мала, что замедляет обучение. 1
• Нецентрированный вывод. 1 Выходы сигмоиды не центрированы вокруг нуля, что может привести к смещению весов в нейронной сети. 1
• Вычислительная затратность. 1 Из-за экспоненциальной операции в формуле сигмоидная функция требует больше вычислительных ресурсов. 1

Некоторые недостатки tanh при использовании в глубоких нейронных сетях:

• Исчезающий градиент. 14 Градиент функции становится очень маленьким по мере того, как входные данные становятся очень большими или очень маленькими, что может замедлить обучение глубоких нейронных сетей. 4
• Появление разрывных градиентов. 4

Выбор между сигмоидой и tanh зависит от конкретных требований задачи и структуры модели. 1 При проектировании архитектуры нейронной сети важно учитывать преимущества и недостатки каждой функции. 4