Суперкомпьютеры в начале развития использовали десятки тысяч отдельных процессоров для увеличения вычислительной мощности. 14

Это было связано с тем, что производительность одного процессорного ядра переставала расти с прежней скоростью, и разработчики стремились сохранить темпы увеличения производительности суперкомпьютеров, добавляя всё больше процессорных элементов. 4

При этом существовала проблема организации слаженной работы такого количества процессоров. 3 Часто при решении прикладных задач на суперкомпьютере до определённого количества используемых процессоров производительность машины росла, а потом начинала снижаться. 3 Это происходило из-за того, что на организацию совместной работы тратилось больше времени, чем на полезные вычисления. 3