Преимущества LSTM перед классическими RNN:

• способность к обучению долговременным зависимостям; 34
• более высокая вычислительная эффективность. 5

Недостатки LSTM:

• ограниченная способность пересматривать решения о хранении информации; 1
• чересчур сильное сжатие данных (так как память у LSTM скалярна); 1
• невозможность распараллелить вычисления, поэтому LSTM считается плохо масштабируемой архитектурой. 1

Также основной недостаток LSTM — большое количество матриц весов (8 против 3 у Simple RNN). 2

Выбор между LSTM и классическими RNN зависит от конкретных задач и требований к модели. Например, LSTM используют, когда нужно работать с большими последовательностями и важна точность, а классические RNN — когда требуется меньшее потребление памяти и более быстрые результаты. 4