Как работает рекуррентная нейронная сеть с долговременной и кратковременной памятью (LSTM)?

Рекуррентная нейронная сеть с долговременной и кратковременной памятью (LSTM) работает по принципу последовательного анализа и обработки данных. satpro.by Каждый блок нейронов обрабатывает последовательность данных, где на каждом шаге LSTM отслеживает и сохраняет в памяти предыдущее состояние блока нейронов и использует его для обработки текущего входного значения. satpro.by

Основным элементом LSTM является блок памяти, который может сохранять информацию в течение длительного времени и удалять её, когда она больше не нужна. satpro.by Блок памяти состоит из трёх элементов: входного затвора, забывающего затвора и выходного затвора: satpro.by

1. Входной затвор определяет, какая информация будет добавлена в блок памяти. satpro.by Он использует функцию активации сигмоида, которая принимает входные данные и определяет, какая часть информации будет сохранена. satpro.by
2. Забывающий затвор определяет, какая информация будет удалена из блока памяти. satpro.by Он также использует функцию активации сигмоида, которая принимает данные из предыдущего блока памяти и текущие входные данные, и определяет, какая часть информации будет удалена. satpro.by
3. Выходной затвор определяет, какая информация будет передана дальше. satpro.by Он также использует функцию активации сигмоида, которая принимает данные из блока памяти и определяет, какая часть информации будет выведена как результат LSTM. satpro.by

LSTM может обрабатывать как краткосрочные, так и долгосрочные зависимости благодаря своей ячейке памяти. www.analyticsvidhya.com Эта ячейка может сохранять важную информацию на протяжении всей обработки последовательности, а через свои «ворота» — удалять или уменьшать количество информации, которая не является релевантной. www.analyticsvidhya.com