Для организации одновременного выполнения независимых вычислительных процессов можно использовать следующие подходы:

• Параллелизм типа «коллективного решения». 1 Подходит для вычислений, распадающихся на большое количество однотипных задач, каждая из которых решается независимо от остальных. 1 В этом случае процессоры получают задания динамически, по мере выполнения уже поступивших, что обеспечивает равномерную загрузку процессорных узлов. 1
• Введение избыточности функциональных устройств (многопроцессорность). 2 Алгоритм разделяют на информационно независимые части и организуют выполнение каждой части вычислений на разных процессорах. 2
• Конвейерная реализация обрабатывающих устройств. 2 Выполнение операций в устройствах представляется в виде исполнения последовательности составляющих операцию подкоманд. 2 Как результат, при вычислениях на таких устройствах на разных стадиях обработки одновременно могут находиться несколько различных элементов данных. 2

Также для реализации параллельных вычислений можно использовать различные технологии и инструменты, например, GPGPU, CUDA, OpenMP и MPI. 5