В чем заключаются особенности параллельного выполнения алгоритмов в многопроцессорных системах?

Некоторые особенности параллельного выполнения алгоритмов в многопроцессорных системах:

• Разделение алгоритма на информационно независимые части. hpc.icc.ru Затем каждая часть вычислений выполняется на разных процессорах. hpc.icc.ru Такой подход позволяет ускорить процесс решения задачи. hpc.icc.ru
• Использование общих данных. intuit.ru Потоки одной и той же параллельной программы выполняются в общем адресном пространстве. intuit.ru Это даёт возможность использовать общие данные для параллельно выполняемых потоков без трудоёмких межпроцессорных передач сообщений. intuit.ru
• Необходимость синхронизации. intuit.ru Вычисления, выполняемые в разных потоках, часто нужно синхронизировать. intuit.ru Например, обработка данных в одном потоке может быть начата только после того, как эти данные будут сформированы в другом потоке. intuit.ru
• Использование различных видов памяти. lib.tau-edu.kz Для современных суперкомпьютеров типична гибридная архитектура: каждый процессор имеет свою локальную память, но при этом может обращаться к глобальной памяти. lib.tau-edu.kz
• Использование специальных алгоритмических языков и программного обеспечения. hpc.icc.ru Они должны обеспечивать создание параллельных программ, организовывать синхронизацию и взаимоисключение асинхронных процессов. hpc.icc.ru