Как работает функция активации в слое долгосрочной краткосрочной памяти LSTM?

Функция активации в слое долгосрочной краткосрочной памяти LSTM работает через «вентиля» (затворы) блока памяти. 35 Блок состоит из трёх элементов: входного затвора, забывающего затвора и выходного затвора. 3

Входной затвор определяет, какая информация будет добавлена в блок памяти. 3 Он использует функцию активации сигмоида, которая принимает входные данные и определяет, какая часть информации будет сохранена. 3

Забывающий затвор определяет, какая информация будет удалена из блока памяти. 3 Он также использует функцию активации сигмоида, которая принимает данные из предыдущего блока памяти и текущие входные данные, и определяет, какая часть информации будет удалена. 3

Выходной затвор определяет, какая информация будет передана дальше. 3 Он также использует функцию активации сигмоида, которая принимает данные из блока памяти и определяет, какая часть информации будет выведена как результат LSTM. 3

Таким образом, функция активации позволяет контролировать потоки информации на входах и на выходах памяти блока. 5