Чем отличаются алгоритмы для параллельного выполнения задач?

Алгоритмы для параллельного выполнения задач отличаются по уровню параллелизма: lib.madi.ru habr.com

1. Параллелизм на уровне задач (многопоточность). lib.madi.ru Предполагает разбиение задачи на подзадачи, которые реализуются одновременно. lib.madi.ru
2. Параллелизм на уровне данных. lib.madi.ru habr.com Заключается в замене множества выполнений однотипных операций одной операцией над множеством данных. lib.madi.ru Этот вид параллелизма эффективен на однородных задачах, не допускающих возможности разбиения на подзадачи. lib.madi.ru

Также существует параллелизм на уровне инструкций, осуществляемый на уровне параллельной обработки процессором нескольких инструкций. habr.com

Ещё одно отличие заключается в том, что параллелизм по данным используется, когда при решении задачи процессоры выполняют одинаковую последовательность вычислений, но используют разные данные. kpfu.ru Например, при поиске по базе данных каждый процессор может работать со своей частью базы данных. kpfu.ru Функциональный параллелизм применяется, когда процессоры выполняют разные задания одной задачи, выполняют разные функции. kpfu.ru