Почему функции активации tanh и sigmoid считаются нестабильными для глубоких нейронных сетей?

Функции активации tanh и sigmoid считаются нестабильными для глубоких нейронных сетей из-за проблемы исчезающего градиента. 12

Для сигмоиды проблема заключается в ограниченном диапазоне значимых значений градиента, который находится между -3 и 3. 1 За пределами этого диапазона функция становится более плоской, что приводит к очень маленьким градиентам. 1 Это затрудняет обучение сети, поскольку градиенты приближаются к нулю. 1

Для tanh проблема исчезающего градиента также возникает за пределами диапазона значимых значений. 1 Хотя функция tanh помогает облегчить эту проблему, она не устраняет её полностью. 2 Для очень высоких или очень низких входных значений градиенты всё равно могут стать очень маленькими. 2

Кроме того, выход сигмоиды не центрирован относительно нуля, что влияет на динамику градиентного спуска. 5

Выбор функции активации зависит от множества факторов, включая специфику задачи, архитектуру модели и характеристики данных. 4