В чём отличие архитектуры декодировщика от архитектуры кодировщика в трансформере?

Основное отличие архитектуры декодировщика от архитектуры кодировщика в трансформере заключается в их функциях. huggingface.co www.dhiwise.com

Кодировщик (англ. encoder) получает входные данные и строит их репрезентацию (формирует признаки). huggingface.co Модель нацелена на «понимание» входных данных. huggingface.co В кодировщике слои внимания могут использовать все слова в предложении. huggingface.co

Декодировщик (англ. decoder) использует репрезентации (признаки) кодировщика с другими входными данными для создания нужной последовательности. huggingface.co Модель нацелена на генерацию выходных данных. huggingface.co Декодировщик работает последовательно и может обращать внимание только на слова в предложении, которые он уже перевёл (то есть только на слова перед генерируемым в данный момент словом). huggingface.co

Таким образом, кодировщик фокусируется на обработке входных данных, а декодировщик — на генерации выходных. huggingface.co www.dhiwise.com