Разница между синхронным и асинхронным решением уравнений заключается в подходе к координации вычислений. 14

В синхронных алгоритмах алгоритм разделён на общие для всех процессоров этапы. 14 На каждом этапе процессоры производят ряд операций, зависящих от результатов вычислений на предыдущих этапах. 1 Переход к следующему этапу осуществляется только после того, как все процессоры выполнили назначенные им в рамках этапа операции. 1 Обмен результатами вычислений между процессорами, другими словами — синхронизация, происходит в конце этапа. 1

В асинхронных алгоритмах нет общих для всех процессоров этапов, а есть свои собственные этапы для каждого процессора. 14 Процессорам разрешается вычислять быстрее и совершать больше итераций, чем могут совершить другие процессоры. 1 После выполнения вычислений процессоры приступают к новым, не следя за доставкой сообщений, и используют данные от других процессоров, имеющиеся на данный момент, пусть даже они будут и не самыми актуальными. 1 При таком подходе нет необходимости использовать глобальное время, глобальную или локальную синхронизации, и время простаивания процессоров сводится к минимуму. 1