Суть принципа параллельной обработки данных в современных компьютерах заключается в том, что большинство задач разделяется на набор меньших задач, которые решаются одновременно. 2

Один из примеров такого принципа — параллелизм данных (Data-Level Parallelism, DLP). 1 В этом случае одна операция выполняется сразу над всеми элементами массива данных. 2 Массив данных разделяется на части, которые обрабатываются параллельно ядрами GPU-ускорителей или вычислительными узлами с несколькими GPU. 1 При этом каждое ядро выполняет одинаковую операцию над своей частью данных. 1

Ещё один пример — параллелизм задач (Task-Level Parallelism, TLP). 1 Он предполагает разделение вычислительных задач на потоки и их параллельное выполнение на доступных вычислительных единицах. 1 Например, в многоядерных процессорах, когда каждое из нескольких независимых ядер на одном чипе способно выполнять потоки параллельно. 1