search

xujinzh / xujinzh.github.io

个人博客主页
https://xujinzh.github.io/
3 stars 2 forks source link

Python 多进程使用单机多GPU加速推理 | J. Xu #353

Open xujinzh opened 9 months ago

xujinzh commented 9 months ago

https://xujinzh.github.io/2024/01/17/python-torch-multi-gpu-py/?

我这里有个需求就是能够使用本机多个GPU对只能使用单GPU的模型进行推理，以能够释放多GPU的潜力，加速推理，节约时间。因为模型需要使用 torch 进行GPU运算，简单的调用 python 内建的 multiprocessing 无法正常执行，需要使用 torch.multiprocessing，后者支持前者完全相同的操作，但扩展了前者以便通过 multiprocessing.Queue 发送的