Как работает механизм гейтов в рекуррентных нейронных сетях?

Гейты (gates) в рекуррентных нейронных сетях (RNN) представляют собой вектора чисел, которые управляют потоками данных, проходящих через нейросеть. deepmachinelearning.ru

Механизм работы: вектора данных поэлементно домножаются на вектора гейтов. deepmachinelearning.ru Когда значение гейта равно 0, гейт закрыт и информацию не пропускает. deepmachinelearning.ru Когда значение гейта равно 1, гейт открыт, и информация свободно проходит. deepmachinelearning.ru

Некоторые функции гейтов в разных моделях RNN:

• В LSTM. habr.com neurohive.io Гейты уменьшают или увеличивают количество информации в состоянии ячейки, в зависимости от потребностей. neurohive.io Есть три типа гейтов: ворота забывания, входные ворота и выходные ворота. habr.com
• В GRU. habr.com datascience.eu Гейты контролируют, насколько новая информация будет влиять на состояние ячейки. habr.com Есть два типа гейтов: ворота обновления и ворота сброса. habr.com datascience.eu

Таким образом, открытые элементы вектора гейта приводят к обновлению информации, а закрытые — к её сохранению. deepmachinelearning.ru Если информация действительно важна, то её можно сохранять очень долго, что позволяет сети, основанной на гейтах, эффективно учитывать долгосрочные зависимости в данных. deepmachinelearning.ru