Почему гиперболический тангенс считается лучшей альтернативой сигмоиде в современных нейронных сетях?

Гиперболический тангенс считается лучшей альтернативой сигмоиде в современных нейронных сетях по нескольким причинам:

• Центрирование области определения. neerc.ifmo.ru Это снимает ограничение при подсчёте градиента для перемещения в определённом направлении. neerc.ifmo.ru
• Более высокая производная вблизи нуля. neerc.ifmo.ru Она даёт большую амплитуду градиентному спуску, что обеспечивает более быструю сходимость. neerc.ifmo.ru
• Более пологая кривая. habr.com Это позволяет сети лучше распознавать сложные зависимости в данных. habr.com

Кроме того, в отличие от сигмоиды, которая имеет диапазон от 0 до 1, гиперболический тангенс преобразует входные данные в диапазон от -1 до 1, что также центрирует выходные данные вокруг нуля и может улучшить эффективность обучения в некоторых случаях. yourtodo.life