В чем основные отличия между Self-Attention и традиционным механизмом внимания в NLP?

Одно из основных отличий Self-Attention (механизма самовнимания) от традиционного механизма внимания в NLP заключается в источнике векторов Query (запрос), Key (ключ) и Value (значение): www.ultralytics.com

• Self-Attention: все три вектора получены из одной и той же входной последовательности. www.ultralytics.com Это позволяет модели анализировать внутренние взаимосвязи внутри одного предложения или изображения. www.ultralytics.com
• Традиционное внимание (общее внимание или перекрестное внимание): вектор запроса может поступать из одной последовательности, а векторы ключа и значения — из другой. www.ultralytics.com

Ещё одно отличие заключается в том, что обычное внимание (как в seq2seq) сравнивает слова из разных предложений, например, в переводе, а Self-Attention работает внутри одного текста и находит связи между его частями. deepme.ru

Таким образом, Self-Attention позволяет модели фокусироваться на наиболее релевантных частях входных данных, а традиционное внимание — сравнивать слова из разных предложений. www.ultralytics.com deepme.ru