Как изменяется время выполнения алгоритмов при увеличении количества параллельных операций в компьютерных системах?

Обычно с увеличением числа операторов (усложнением алгоритма) ускорение вычислений возрастает. habr.com Это связано с тем, что каждый поток параллельной программы работает со своей частью данных, большая часть которых может попасть в кеш-память, в результате в каждом потоке сокращается время доступа к данным. www.mkurnosov.net

Однако линейное ускорение редко встречается на практике. bigenc.ru С ростом числа процессов возрастает количество накладных расходов. bigenc.ru В некоторых случаях это приводит к уменьшению полученного ускорения, а в других — даже к замедлению программы. bigenc.ru

На эффективность параллельного алгоритма влияют, например, отсутствие максимального параллелизма в алгоритме и/или несбалансированность нагрузки процессоров, обмены, конфликты памяти и время синхронизации. web.archive.org