hub启动服务并推理，显卡利用率为0，推理速度很慢

PaddlePaddle / PaddleHub

Awesome pre-trained models toolkit based on PaddlePaddle. (400+ models including Image, Text, Audio, Video and Cross-Modal with Easy Inference & Serving)【安全加固，暂停交互，请耐心等待】

https://www.paddlepaddle.org.cn/hub

Apache License 2.0

12.74k stars 2.07k forks source link

hub启动服务并推理，显卡利用率为0，推理速度很慢 #2213

Open gitmhg opened 1 year ago

gitmhg commented 1 year ago

欢迎您反馈PaddleHub使用问题，非常感谢您对PaddleHub的贡献！在留下您的问题时，辛苦您同步提供如下信息：

版本、环境信息 1）PaddleHub和PaddlePaddle版本： paddle-bfloat 0.1.7 paddle2onnx 1.0.5 paddlefsl 1.1.0 paddlehub 2.3.1 paddlenlp 2.5.0 paddlepaddle-gpu 2.3.2.post116 paddleslim 2.2.1 paddlex 2.1.0 x2paddle 1.4.0

2）系统环境：Linux python3.8 Ubuntu20.04 3090显卡

复现信息：如为报错，请给出复现环境、复现步骤 hub serving start -c config.json 启动服务，客户端预测但是显卡利用率为0 { "modules_info": { "helmet_hub": { "init_args": { "version": "1.0.0" }, "predict_args": { "batch_size": 100, "use_gpu": true } } }, "port": 8866, "use_multiprocess": false, "workers": 2, "gpu": "1,2,3" }

rainyfly commented 1 year ago

你好，理论上这个服务的推理速度，和你直接调用模块对你的数据进行推理的速度是一样的，你可以直接使用module来预测你的数据，记入一下时间，然后记录一下你的请求到回来的时间，看看两者差的大不大。这个nvidia-smi是短时间内的"瞬时利用率"，如果你用这个命令时候，GPU已经推理完了，那可能这时候就会显示为0。

gitmhg commented 1 year ago

你好，理论上这个服务的推理速度，和你直接调用模块对你的数据进行推理的速度是一样的，你可以直接使用module来预测你的数据，记入一下时间，然后记录一下你的请求到回来的时间，看看两者差的大不大。这个nvidia-smi是短时间内的"瞬时利用率"，如果你用这个命令时候，GPU已经推理完了，那可能这时候就会显示为0。我是hub serving部署，部署命令： hub serving start --config config.json config.json为：同时为了排除hub的问题我也用inference_model进行推理测试发现推理速度很快，而且gpu使用率很高

gitmhg commented 1 year ago

你好，理论上这个服务的推理速度，和你直接调用模块对你的数据进行推理的速度是一样的，你可以直接使用module来预测你的数据，记入一下时间，然后记录一下你的请求到回来的时间，看看两者差的大不大。这个nvidia-smi是短时间内的"瞬时利用率"，如果你用这个命令时候，GPU已经推理完了，那可能这时候就会显示为0。

我用hub开源的模型能够使用gpu，但是自己的模型用hub启动显卡利用率为0. 这是我的模型，您方便的话帮我看下是否是模型的问题链接：https://pan.baidu.com/s/1-0S_UK78a01nptQdS0h1KA 提取码：6666