Преимущества конвейерного параллелизма в обучении нейросетей:

• Избегание простоя графических процессоров (GPU). 2 Пакеты данных разбиваются на меньшие части, которые обрабатываются последовательно, что позволяет уменьшить время простоя устройств и улучшить общую производительность. 2
• Согласованность параметров модели. 2 В конце каждого шага происходит синхронизация градиентов между устройствами, что обеспечивает согласованность параметров модели. 2
• Оптимальность для медленной сети. 1 Метод предполагает минимальное число коммуникаций. 1

Конвейерный параллелизм разбивает модель по слоям между несколькими GPU и последовательно выполняет прямые и обратные проходы. 2 Это позволяет эффективно масштабировать обучение моделей с миллиардами параметров. 1