Как организовать одновременное выполнение независимых вычислительных процессов?

Для организации одновременного выполнения независимых вычислительных процессов можно использовать следующие подходы:

• Параллелизм типа «коллективного решения». pvs-studio.ru Подходит для вычислений, распадающихся на большое количество однотипных задач, каждая из которых решается независимо от остальных. pvs-studio.ru В этом случае процессоры получают задания динамически, по мере выполнения уже поступивших, что обеспечивает равномерную загрузку процессорных узлов. pvs-studio.ru
• Введение избыточности функциональных устройств (многопроцессорность). hpc.icc.ru Алгоритм разделяют на информационно независимые части и организуют выполнение каждой части вычислений на разных процессорах. hpc.icc.ru
• Конвейерная реализация обрабатывающих устройств. hpc.icc.ru Выполнение операций в устройствах представляется в виде исполнения последовательности составляющих операцию подкоманд. hpc.icc.ru Как результат, при вычислениях на таких устройствах на разных стадиях обработки одновременно могут находиться несколько различных элементов данных. hpc.icc.ru

Также для реализации параллельных вычислений можно использовать различные технологии и инструменты, например, GPGPU, CUDA, OpenMP и MPI. www.cyberforum.ru