В чем разница между CPU и GPU версиями библиотеки ONNX Runtime?

Разница между CPU- и GPU-версиями библиотеки ONNX Runtime в том, что первая работает на CPU и в оперативной памяти, а вторая — в видеопамяти и на графическом процессоре. dzen.ru

По умолчанию ONNX Runtime выполняет вывод на CPU-устройствах. huggingface.co Но можно перенести поддерживаемые операции на GPU от NVIDIA, а неподдерживаемые — оставить на CPU. huggingface.co В большинстве случаев это позволяет значительно ускорить вывод. huggingface.co

GPU-версия пакета имеет дополнительные DLL-библиотеки для работы с CUDA. dzen.ru При этом CPU-версия не будет работать на NVIDIA. dzen.ru

Важно учитывать, что CPU- и GPU-версии несовместимы друг с другом, и может быть установлена только одна из них. dzen.ru