В модели LSTM присутствуют функции активации как сигмоид, так и Tanh, для регулирования потока информации. 3

Сигмоид используется в качестве функции стробирования для трёх ворот (вход, выход, забвение) в LSTM. 2 Он выводит значение от 0 до 1 и может либо не допускать потока, либо завершать его через ворота. 2

Tanh используется для преодоления проблемы исчезающего градиента. 1 Для этого нужна функция, вторая производная которой может сохраняться в течение длительного диапазона, прежде чем стремиться к нулю. 1 Tanh обладает такими свойствами. 1

Вместе сигмоид и Tanh позволяют избирательно обновлять память LSTM, удерживая значения в состоянии ячейки в разумном диапазоне. 3