Почему возникают задержки при параллельном выполнении независимых процессов?

Задержки при параллельном выполнении независимых процессов могут возникать из-за разделения ресурсов системы. studizba.com В каждый момент времени к разделяемому ресурсу может иметь доступ только один процесс. studizba.com

Также на производительность параллельной обработки влияют:

• Конкуренция между потоками за ограниченный ресурс. habr.com Это одна из частых причин деградации производительности при распараллеливании вычислений. habr.com
• Синхронизация. kpfu.ru Она нужна для согласования по времени выполнения параллельных заданий. kpfu.ru Однако после достижения точки синхронизации процессор должен ждать, пока другие задания достигнут этой же точки. kpfu.ru
• Задержки при передаче данных. hpc.icc.ru Они могут быть существенными по сравнению с быстродействием процессоров. hpc.icc.ru