Как работает механизм masked multi-head attention в transformer-моделях?

Механизм masked multi-head attention в transformer-моделях позволяет сосредоточиться на определённых частях ввода, игнорируя другие. www.exgenex.com Это достигается путём маскирования некоторых входных элементов. www.exgenex.com

Маска обычно представляет собой матрицу, в которой элементы, соответствующие позициям, к которым модель не может обращаться, установлены в очень большое отрицательное число (эффективно отрицательная бесконечность), а элементы, соответствующие разрешённым позициям, установлены в ноль. apxml.com

Процесс работы механизма: apxml.com

1. Разделить входные вложения на несколько наборов векторов Q, K, V (один набор на голову). apxml.com
2. Для каждой головы вычислить оценки внимания на основе масштабированного точечного произведения. apxml.com
3. Применить маску внимания, добавив матрицу маски к оценкам. apxml.com
4. Применить функцию softmax, чтобы получить веса внимания. apxml.com
5. Вычислить взвешенную сумму векторов V. apxml.com
6. Объединить выходы из всех голов. apxml.com
7. Применить финальную линейную проекцию. apxml.com

Цель использования masked multi-head attention — предотвратить чрезмерную зависимость модели от определённых слов или фраз и побудить её сосредоточиться на отношениях между разными частями ввода. www.exgenex.com

Это помогает модели лучше понимать контекст и отношения между различными словами и фразами в предложении или тексте. www.exgenex.com