search

PaddlePaddle / PaddleHub

Awesome pre-trained models toolkit based on PaddlePaddle. (400+ models including Image, Text, Audio, Video and Cross-Modal with Easy Inference & Serving)【安全加固，暂停交互，请耐心等待】
https://www.paddlepaddle.org.cn/hub
Apache License 2.0
12.73k stars 2.07k forks source link

GPU利用率问题，有什么设置的地方吗，单个服务的GPU利用率有地方限制了 #2294

Closed JeremyGe07 closed 1 year ago

JeremyGe07 commented 1 year ago

PaddleHub2.3.1，PaddlePaddle2.4.2.post112，python3.7 ， A10

启动单个OCR识别服务，请求一组图片，观察推理的这段时间GPU利用率在20%左右，一直不会超过30%。 这样的话同时向该服务发送2个请求，每个请求的推理时间的都会变慢。 请问有什么地方可以修改这个GPU利用率限制吗，否则是不是只能启动多个服务了

JeremyGe07 commented 1 year ago

刚想明白过来，这应该是PaddleOCR的问题- -