Почему в модели LSTM присутствуют функции активации как сигмоид, так и Tanh?

В модели LSTM присутствуют функции активации как сигмоид, так и Tanh, для регулирования потока информации. ai.stackexchange.com

Сигмоид используется в качестве функции стробирования для трёх ворот (вход, выход, забвение) в LSTM. yandex.ru Он выводит значение от 0 до 1 и может либо не допускать потока, либо завершать его через ворота. yandex.ru

Tanh используется для преодоления проблемы исчезающего градиента. stackoverflow.com Для этого нужна функция, вторая производная которой может сохраняться в течение длительного диапазона, прежде чем стремиться к нулю. stackoverflow.com Tanh обладает такими свойствами. stackoverflow.com

Вместе сигмоид и Tanh позволяют избирательно обновлять память LSTM, удерживая значения в состоянии ячейки в разумном диапазоне. ai.stackexchange.com