В каких случаях стоит использовать joblib вместо multiprocessing?

Joblib стоит использовать вместо multiprocessing в некоторых случаях, например:

• Для задач, требующих интенсивных вычислений. zigf.ru Joblib применяет многопроцессорность, распределяя нагрузку между ядрами CPU, что обеспечивает более быструю обработку данных. zigf.ru
• Для задач, связанных с вводом/выводом или сетевыми запросами. zigf.ru В таких случаях более эффективным оказывается использование потоков в Joblib, так как они не требуют интенсивных вычислительных ресурсов и связаны с операциями ожидания. zigf.ru
• Для работы с очень большими объёмами данных, которые не помещаются в оперативную память. zigf.ru Joblib позволяет легко параллелизовать операции с такими данными, обрабатывая их кусками, без значительной нагрузки на оперативную память. zigf.ru
• Для выполнения повторяющихся и ресурсоёмких операций. zigf.ru Кэширование в Joblib позволяет избежать повторных вычислений, сохраняя результаты предыдущих операций. zigf.ru

Однако у Joblib есть и недостатки: если задача использует много памяти, распараллеливание может привести к увеличению нагрузки на систему, а в некоторых случаях даже к её замедлению. habr.com