Параллельные вычисления ограничены законом Амдала из-за того, что ускорение выполнения программы зависит от доли задачи, которая может быть выполнена параллельно. 5 Если значительная часть задачи выполняется последовательно, то добавление процессоров мало повлияет на ускорение. 5
Согласно закону Амдала, ускорение выполнения программы за счёт распараллеливания её инструкций на множестве вычислителей ограничено временем, необходимым для выполнения её последовательных инструкций. 12
Например, если можно распараллелить 95% программы, то теоретически максимальное ускорение будет 20-кратным, невзирая на то, сколько процессоров используется. 1
Кроме того, распараллеливание может повлечь дополнительные расходы, например на синхронизацию и смену контекста. 3 Когда задача плохо разбивается на параллельные вычисления, такие расходы способны привести к уменьшению производительности. 3