Какие преимущества и недостатки имеет FlashAttention по сравнению с другими методами внимания в PyTorch?

Преимущества FlashAttention по сравнению с другими методами внимания в PyTorch:

• Высокая скорость вычислений. 14 FlashAttention вычисляет внимание для каждого блока перед переходом к следующему, что позволяет избежать дорогих операций с памятью для промежуточных результатов. 1
• Эффективное использование памяти. 14 Можно обучать модели на последовательностях большой длины без проблем с нехваткой памяти. 2

Некоторые недостатки FlashAttention:

• Неэффективная параллелизация. 1 Также есть проблемы с разделением потоков и доступом к общей памяти. 1
• Отсутствие поддержки вычисления оценок внимания с заполняющими токенами. 2 Это приводит к значительному замедлению при пакетном выводе с заполняющими токенами. 2
• Потеря гибкости. 5 Для реализации новых вариантов внимания часто нужно писать собственное ядро. 5