Как меняется производительность вычислений при увеличении количества команд в системе?

Производительность вычислений может как увеличиваться, так и уменьшаться при увеличении количества команд в системе, в зависимости от алгоритма задачи и других факторов. ru.wikipedia.org ifn.kemsu.ru

В некоторых случаях наблюдается линейный прирост производительности с ростом количества вычислителей в системе. ru.wikipedia.org Это возможно, например, для алгоритмов, не содержащих последовательных вычислений. ru.wikipedia.org

Однако есть и ограничение, которое иллюстрирует закон Амдала. ru.wikipedia.org Он показывает, что ускорение выполнения программы за счёт распараллеливания её инструкций на множестве вычислителей ограничено временем, необходимым для выполнения её последовательных инструкций. ru.wikipedia.org

Кроме того, с определённого момента добавление новых узлов в систему может увеличивать время расчёта задачи, так как нужно учитывать время, необходимое для передачи данных между узлами вычислительной системы. ru.wikipedia.org

Таким образом, прирост эффективности вычислений зависит от алгоритма задачи, и не для всякой задачи имеет смысл наращивание числа процессоров в вычислительной системе. ru.wikipedia.org