Как меняется эффективность вычислений при увеличении количества параллельных потоков?

Эффективность вычислений может как увеличиваться, так и уменьшаться при увеличении количества параллельных потоков. courses.igankevich.com elar.urfu.ru

В идеальном случае при равномерной и сбалансированной загрузке процессоров и минимальном времени обменов между ними эффективность распараллеливания стремится к единице. elar.urfu.ru Однако на практике такое ускорение практически никогда не достигается. elar.urfu.ru

Некоторые причины снижения эффективности:

• Конкуренция между потоками за ограниченный ресурс. habr.com Например, при распараллеливании выполнения дополнительные ресурсы тратятся на поддержку параллельной обработки, в частности, на переключение контекста процессора между потоками. habr.com
• Задержки, вызванные обменами, конфликтами в памяти и временем синхронизации. elar.urfu.ru
• Существование в выполняемых вычислениях последовательных расчётов, которые не могут быть распараллелены. intuit.ru

Обычно снижение производительности при увеличении количества потоков наблюдается в крайних случаях. courses.igankevich.com Обычно после достижения оптимального числа потоков производительность начинает колебаться вокруг этого оптимального значения. courses.igankevich.com

На эффективность вычислений также влияет интенсивность обмена с оперативной памятью. keldysh.ru Например, если обмен практически отсутствует, то масштабирование близко к идеальному, а при интенсивном обмене с памятью масштабирование существенно хуже. keldysh.ru