Как закон Амдала влияет на масштабируемость параллельных вычислений?

Закон Амдала накладывает ограничение на масштабируемость параллельных вычислений. 15 Согласно этому закону, ускорение выполнения программы за счёт распараллеливания её инструкций на множестве вычислителей ограничено временем, необходимым для выполнения её последовательных инструкций. 1

Если учесть время, необходимое для передачи данных между узлами вычислительной системы, то зависимость времени вычислений от числа узлов будет иметь минимум. 1 Это означает, что с определённого момента добавление новых узлов в систему будет увеличивать время расчёта задачи. 1

Кроме того, закон Амдала показывает, что прирост эффективности вычислений зависит от алгоритма задачи и ограничен сверху, поэтому не для всякой задачи имеет смысл наращивание числа процессоров в вычислительной системе. 1

Однако это ограничение удалось преодолеть в 1988 году специалисту в области теории вычислительных систем Джону Густафсону. 3 Он доказал, что можно продолжать наращивать производительность, если увеличивать объём вычислений пропорционально количеству параллельных вычислителей. 3