有关多服务多卡GPU 的推理

opendatalab / MinerU

A one-stop, open-source, high-quality data extraction tool, supports PDF/webpage/e-book extraction.一站式开源高质量数据提取工具，支持PDF/网页/多格式电子书提取。

https://opendatalab.com/OpenSourceTools

GNU Affero General Public License v3.0

13.43k stars 1.01k forks source link

Open daviddongkc opened 2 months ago

daviddongkc commented 2 months ago

我目前使用的cuda版本，默认是使用单卡（gpu 0）上使用，占用大概11GB显存。我想一次跑多个服务，想要第二个服务在 gpu 1 上跑，设置 os.environ['CUDA_VISIBLE_DEVICES'] = '1' 发现无效，第二个服务还是在gpu0上跑，请问如何解决这个问题？

zouhuigang commented 1 month ago