jingsongliujing / OnnxOCR

基于PaddleOCR重构,并且脱离PaddlePaddle深度学习训练框架的轻量级OCR,推理速度超快
Apache License 2.0
715 stars 65 forks source link

GPU推理比CPU慢,是不是我使用有问题 #19

Open ZTFsmart opened 3 months ago

ZTFsmart commented 3 months ago

在同样的模型加载后进行推理,GPU会比CPU慢很多,同一张图片循环遍历GPU的推理速度会提升,因为有缓存,但是不同的图片进行识别,GPU的推理速度明显慢,而且GPU的使用率已经到了100% python3.7 使用flask提供接口 启动时先加载模型 model = ONNXPaddleOcr(use_angle_cls=True, use_gpu=True)

jingsongliujing commented 3 months ago

GPU版本的,建议你切换分支到master分支用v2版本的

---原始邮件--- 发件人: @.> 发送时间: 2024年7月25日(周四) 晚上7:19 收件人: @.>; 抄送: @.***>; 主题: [jingsongliujing/OnnxOCR] GPU推理比CPU慢,是不是我使用有问题 (Issue #19)

在同样的模型加载后进行推理,GPU会比CPU慢很多,同一张图片循环遍历GPU的推理速度会提升,因为有缓存,但是不同的图片进行识别,GPU的推理速度明显慢,而且GPU的使用率已经到了100% python3.7 使用flask提供接口 启动时先加载模型 model = ONNXPaddleOcr(use_angle_cls=True, use_gpu=True)

— Reply to this email directly, view it on GitHub, or unsubscribe. You are receiving this because you are subscribed to this thread.Message ID: @.***>

ZTFsmart commented 3 months ago

GPU 版本的,建议您使用 v2 版本的将分支切换到 master 分支 ---原始邮件---发件人: @.> 发送时间:2024年7月25日(周四)晚上7:19 美食:@.>; 抄送:@.>; 主题: [jingsonliujing/OnnxOCR] GPU推理比CPU慢,不是我使用有问题(问题#19)在同样的模型加载后进行推理,GPU会比CPU慢很多,同一张图片循环完成GPU的速度推理会提升,因为有缓存,但是不同的图片进行识别,GPU的推理速度明显慢,而且GPU的使用率已经到了100% python3.7 使用flask提供接口启动时先加载模型 model = ONNXPaddleOcr(use_angle_cls=True, use_gpu =True) — 直接回复此电子邮件、在 GitHub 上查看或取消订阅。您收到此消息是因为您订阅了此主题。消息 ID:@.>

使用了master分支,也用了v2的模型,GPU的推理速度还是比CPU慢,我的cuda版本11.4,onnxruntime版本为1.14.1 可能是什么原因导致的呢

jingsongliujing commented 3 months ago

建议参照这个cuda版本和onnxruntime对应:https://blog.csdn.net/qq_38308388/article/details/137679214 ,还有假如安装onnxruntime-gpu,就把onnxruntime卸载,不要同时存在于环境中

DapperZhengLong commented 3 months ago

建议参照这个cuda版本和onnxruntime对应:https://blog.csdn.net/qq_38308388/article/details/137679214 ,还有假如安装onnxruntime-gpu,就把onnxruntime卸载,不要同时存在于环境中

作者大大能否说一下你自己的版本么?我之前按照https://onnxruntime.ai/docs/execution-providers/CUDA-ExecutionProvider.html#requirements的说明安装onnxruntime,测试几次gpu都比cpu慢

icecraft commented 1 month ago

同求

jingsongliujing commented 1 month ago

这个问题确实存在,还在排查,建议转成tensorrt吧,假如要用gpu的话