В чем заключаются особенности архитектуры Transformer, используемой в DeepL Translate?

Некоторые особенности архитектуры Transformer, используемой в DeepL Translate:

• Обучение на миллиардах предложений из различных источников. pr-cy.ru www.aitoolgo.com Система анализирует не только отдельные слова, но и целые предложения, учитывая грамматические конструкции, стилистику и контекст. pr-cy.ru
• Концентрация на наиболее важных словах в исходном тексте. trafficcardinal.com Например, при переводе фразы «The cat sat on the mat» программа обращает особое внимание на слова «cat» и «mat», чтобы правильно определить контекст. trafficcardinal.com
• Понимание идиом, технических терминов и культурных особенностей языков. pr-cy.ru www.aitoolgo.com Это позволяет создавать естественные и точные переводы. pr-cy.ru
• Отсутствие рекуррентных единиц. en.wikipedia.org Благодаря этому архитектура Transformer требует меньше времени на обучение, чем предыдущие архитектуры на основе рекуррентных нейронных сетей, например LSTM. en.wikipedia.org