Как устроен механизм внимания в современных моделях искусственного интеллекта?

Механизм внимания в современных моделях искусственного интеллекта позволяет модели концентрироваться на наиболее значимых частях входных данных при составлении прогнозов или генерации выходных данных. 3

Некоторые основные компоненты механизма внимания:

• Запрос (Q). 1 Вектор, представляющий обрабатываемый элемент, например, слово в предложении или область на изображении. 1
• Ключ (K). 1 Вектор, представляющий другие элементы, которые модель будет учитывать на предмет релевантности. 1
• Значение (V). 1 Вектор, представляющий фактическую информацию, которая будет передана на следующий уровень или этап процесса. 1
• Веса внимания. 1 Рассчитаны на основе сходства между запросами и ключами, эти веса определяют важность каждого значения. 1
• Результат. 1 Взвешенная сумма значений, где веса определяются механизмом внимания. 1

Процесс работы механизма внимания можно описать так: 4

1. Подсчёт баллов. 4 Для каждого выходного элемента модель вычисляет оценку для каждого входного элемента. 4 Эти оценки представляют релевантность каждого входного элемента текущему выходному элементу. 4
2. Вычисление весов внимания. 4 Оценки нормализуются с использованием функции softmax для получения весов внимания. 4 Сумма этих весов равна единице и указывает относительную важность каждого входного элемента. 4
3. Вычисление вектора контекста. 4 Веса внимания используются для вычисления взвешенной суммы входных элементов, в результате чего получается вектор контекста, который фиксирует соответствующую информацию для текущего выходного элемента. 4

Некоторые типы механизма внимания:

• Самостоятельное внимание. 3 Позволяет модели взвешивать важность различных частей одной и той же входной последовательности относительно друг друга. 3 Это основной механизм в трансформерах. 3
• Перекрёстное внимание. 3 Позволяет модели фокусироваться на релевантных частях другой последовательности, что часто используется в задачах «последовательность-последовательность», таких как перевод. 3
• Area Attention. 3 Вариант, разработанный для повышения эффективности, фокусирующий внимание на больших регионах. 3