Как рассчитать оптимальное количество параллельных процессов в вычислительной системе?

Оптимальное количество параллельных процессов в вычислительной системе зависит от фактического вычислительного кода. 1 Некоторые приложения могут извлечь выгоду из гиперпоточности, а некоторые — нет. 1

Для высокопроизводительных приложений часто лучше использовать один процесс на ядро, если код привязан к вычислениям и хорошо масштабируется. 1

Для эффективной работы параллельных вычислений важно правильно настроить параметры, такие как количество используемых ядер, управление ресурсами и распределение данных. 3

Некоторые подходы, которые могут помочь рассчитать оптимальное количество параллельных процессов:

• Распараллеливание по данным. 4 Массив данных, который программа последовательно обрабатывает в функции, разбивают на блоки, которые могут быть обработаны независимо друг от друга. 4 Затем запускают несколько потоков, каждый из которых выполняет нужную функцию, но обрабатывает отличные от других потоков блоки данных. 4
• Распараллеливание по инструкциям. 4 В программе находят последовательно вызываемые функции, процесс работы которых не влияет друг на друга. 4 Затем эти функции запускают в параллельных потоках. 4
• Распараллеливание по информационным потокам. 4 Программа представляет собой набор выполняемых функций, несколько из которых могут ожидать результата выполнения предыдущих. 4 В таком случае каждое ядро выполняет ту функцию, данные для которой уже готовы. 4

Для оценки эффективности параллельной программы можно сравнивать показатели скорости её исполнения при запуске на нескольких идентичных вычислительных системах, которые различаются только количеством центральных процессоров (или ядер). 4