В чем особенности выполнения параллельных вычислений в программировании?

Особенности выполнения параллельных вычислений в программировании:

• Разделение процесса вычислений на части, которые могут быть выполнены одновременно. elar.urfu.ru Вычисления распределяются по процессорам. elar.urfu.ru
• Обеспечение взаимодействия параллельных вычислений. elar.urfu.ru Основная сложность при проектировании параллельных программ — обеспечить правильную последовательность взаимодействий между различными вычислительными процессами, а также координацию ресурсов, разделяемых между процессами. ru.wikipedia.org
• Использование различных технологий распараллеливания. books.ifmo.ru Например, распараллеливание по данным предполагает разбиение массива данных на блоки, которые могут быть обработаны независимо друг от друга. books.ifmo.ru Затем запускается сразу несколько потоков, каждый из которых выполняет определённую функцию, но при этом обрабатывает отличные от других потоков блоки данных. books.ifmo.ru Распараллеливание по инструкциям заключается в поиске в программе последовательно вызываемых функций, процесс работы которых не влияет друг на друга (такие функции не изменяют общие глобальные переменные, а результаты одной не используются в работе другой). books.ifmo.ru Затем эти функции запускаются в параллельных потоках. books.ifmo.ru Распараллеливание по информационным потокам предполагает, что программа представляет собой набор выполняемых функций, причём несколько функций могут ожидать результата выполнения предыдущих. books.ifmo.ru В таком случае каждое ядро выполняет ту функцию, данные для которой уже готовы. books.ifmo.ru
• Гибкое управление числом потоков. books.ifmo.ru Это позволяет программе «адаптироваться» под то число процессоров (ядер), которое есть в наличии на конкретной ЭВМ. books.ifmo.ru