Роль кодировщика (энкодера) в архитектуре трансформера заключается в том, чтобы понимать и представлять входные данные. 5

Кодировщик получает на вход текст и преобразует его в векторный формат, то есть в числа по определённым правилам. 2 При этом он учитывает позицию каждого слова в предложении. 2

Некоторые этапы работы кодировщика:

• Токенизация. 5 Входной текст делится на отдельные токены, такие как слова и части слов. 5
• Ввод эмбеддингов. 5 Каждый токен сопоставляется с непрерывным векторным пространством с помощью предварительно обученных эмбеддингов. 5
• Добавление информации о порядке токенов. 5 После преобразования каждого токена в вектор к нему добавляется значение, которое отражает его позицию в предложении. 2
• Несколько слоёв преобразования. 5 Для создания окончательного скрытого состояния применяются несколько слоёв внимания и прямые нейронные сети. 5

На выходе из кодировщика модель имеет набор векторов — скрытых представлений входа модели. 3 Затем этот набор передаётся декодировщику, который, используя механизм внимания, распаковывает его в целевую последовательность. 3