Гиперболический тангенс считается лучшей альтернативой сигмоиде в современных нейронных сетях по нескольким причинам:

• Центрирование области определения. 1 Это снимает ограничение при подсчёте градиента для перемещения в определённом направлении. 1
• Более высокая производная вблизи нуля. 1 Она даёт большую амплитуду градиентному спуску, что обеспечивает более быструю сходимость. 1
• Более пологая кривая. 2 Это позволяет сети лучше распознавать сложные зависимости в данных. 2

Кроме того, в отличие от сигмоиды, которая имеет диапазон от 0 до 1, гиперболический тангенс преобразует входные данные в диапазон от -1 до 1, что также центрирует выходные данные вокруг нуля и может улучшить эффективность обучения в некоторых случаях. 3