Как шаг за шагом строится RNN из одноуровневой сети?

Построение однослойной рекуррентной нейронной сети (RNN) происходит так же, как и в обычной однослойной сети: сигнал идёт от входа, проходит через слой нейронов, затем поступает на выход. yandex.ru

Особенность RNN в том, что выход нейрона может вновь подаваться на его вход. yandex.ru В более общем случае это означает возможность распространения сигнала от выходов к входам. yandex.ru

Процесс построения однослойной RNN можно описать так:

1. Вводим входные данные из последовательности. dzen.ru
2. Их контекст фиксируется матрицами веса и смещения и сохраняется в скрытом массиве, который обновляется новой информацией на каждом временном шаге. dzen.ru
3. Затем этот контекст, хранящийся в скрытом массиве, проходит через другой набор весов и смещений, и одно значение вычисляется после того, как все временные шаги последовательности были введены в сеть. dzen.ru