Почему некоторые алгоритмы вычисления матричных операций работают быстрее остальных?

Несколько причин, по которым некоторые алгоритмы вычисления матричных операций работают быстрее остальных:

• Алгоритм Штрассена. ru.wikipedia.org dspace.tltsu.ru Разработанный Фолькером Штрассеном в 1969 году, он основан на способе перемножения двух матриц 2×2, который требует лишь 7 умножений (вместо обычных 8), но требует выполнения дополнительных операций сложения и вычитания. ru.wikipedia.org
• Использование нескольких потоков. softwareengineering.stackexchange.com Практически нет современного процессора, который не имел бы нескольких ядер. softwareengineering.stackexchange.com Написание кода очевидным способом на обычном языке программирования использует только один из них, что может использовать менее 2% доступных вычислительных ресурсов компьютера. softwareengineering.stackexchange.com
• Использование инструкций SIMD. softwareengineering.stackexchange.com Вместо нескольких скалярных арифметических команд процессору даётся одна команда, которая выполняет арифметику над несколькими регистрами параллельно. softwareengineering.stackexchange.com Это может ускорить некоторые вычисления в 4–8 раз. softwareengineering.stackexchange.com
• Более разумное использование кэша. softwareengineering.stackexchange.com Доступ к памяти осуществляется быстрее, если он согласован во времени и пространстве, то есть осуществляются последовательные обращения к соседним адресам. softwareengineering.stackexchange.com
• Использование ускорителей, таких как графические процессоры. softwareengineering.stackexchange.com Эти устройства имеют сотни ядер, которые сгруппированы в группы по несколько десятков ядер, и эти группы совместно используют ресурсы — они совместно используют несколько КБ памяти, что намного быстрее обычной памяти. softwareengineering.stackexchange.com