Какие методы оптимизации можно применить для ускорения обработки матриц в C++?

Несколько методов оптимизации для ускорения обработки матриц в C++:

• Блочный алгоритм. stackoverflow.com github.com Матрица делится на подматрицы, размер каждого блока выбирается так, чтобы он хорошо помещался в кэш. stackoverflow.com github.com Это значительно повышает производительность. stackoverflow.com
• Увеличение глубины конвейера инструкций. habr.com Нужно стремиться к линейной части алгоритма, когда вычисления идут подряд, без условий или циклов. habr.com Например, можно развернуть основной цикл так, чтобы внутри него проходило не одно, а несколько умножений. habr.com
• Сохранение данных в локальных переменных и указателях. habr.com Это позволяет реже обращаться к памяти и умножать, что ускоряет работу. habr.com
• Дублирование кода для чётных и нечётных размеров матриц. habr.com Это нужно, чтобы не проверять на чётность внутри цикла, а проверить только один раз. habr.com
• Транспонирование матрицы. www.cyberforum.ru github.com Для увеличения локальности данных можно транспонировать матрицу и производить умножение строка на строку. github.com
• Использование внешних библиотек. stackoverflow.com Например, можно применять процедуру GEMM из библиотеки BLAS. stackoverflow.com
• Запуск на графических процессорах. stackoverflow.com Matrix Multiply требует больших затрат времени и вычислений, поэтому его можно запускать на графических процессорах. stackoverflow.com

Для оптимизации кода рекомендуется проводить тесты и не оптимизировать его преждевременно. en.wikibooks.org