Почему возникает задержка между независимыми процессами в параллельной обработке?

Несколько причин, по которым возникает задержка между независимыми процессами в параллельной обработке:

• Синхронизация данных. books.ifmo.ru Каждый процесс имеет своё независимое адресное пространство, поэтому синхронизация данных между процессами долгая и сложная. books.ifmo.ru
• Задержка при передаче данных по линиям связи. hpc.icc.ru Временные задержки могут оказаться существенными по сравнению с быстродействием процессоров. hpc.icc.ru
• Отсутствие возможности асинхронной посылки сообщений на фоне вычислений. kpfu.ru Если в компьютере не поддерживается такая возможность, возникают накладные расходы, связанные с ожиданием полного завершения взаимодействия параллельных процессов. kpfu.ru
• Задержка с подачей в процессор необходимых данных. kpfu.ru Ведёт к простою процессора и снижению эффективности параллельной обработки. kpfu.ru