Ключевые отличия трансформеров от рекуррентных нейронных сетей (RNN) заключаются в следующем:

• Обработка информации. 3 RNN обрабатывают данные последовательно по порядку, в то время как трансформеры могут работать с информацией в другой последовательности. 3 Например, если исходные данные — текст, то трансформерам не нужно обрабатывать конец предложения после обработки начала. 2
• Учёт контекста. 14 Трансформеры полагаются на механизм внимания, который позволяет учитывать контекст, например, окружение отдельного слова в предложении. 4
• Параллельность. 25 Трансформеры можно распараллелить, что ускоряет машинное обучение. 3

Таким образом, трансформеры глубже проникают в смысл текста и генерируют более осмысленные и связные выходные данные. 1