Некоторые проблемы, которые могут возникнуть при выполнении параллельных вычислительных процессов в компьютерных системах:

• Синхронизация. 3 Когда несколько модулей одной программы запускаются на разных процессорах, возникает необходимость в синхронизации их действий. 3 Это может привести к простою процессора, так как после достижения точки синхронизации он должен ждать, пока другие задания достигнут той же точки. 2
• Гонка данных. 3 Возникает для мультипроцессорных компьютеров с общей памятью. 3 Поскольку процессоры работают параллельно, то в одни и те же моменты времени они могут получать доступ к одним и тем же данным, хранимым в общей памяти, как для чтения, так и для записи. 3
• Клинч (deadlock). 3 Возникает, когда при включении блокировки ресурс закрывается для других конкурентов, которые должны прервать свою работу и ждать момента освобождения ресурса. 3
• Медленная передача данных. 3 В процессе работы компьютеры должны обмениваться данными, посылая друг другу сообщения. 3 Время на передачу данных может «съесть» весь выигрыш, полученный за счёт распараллеливания вычислений. 3