search

PaddlePaddle / Paddle

PArallel Distributed Deep LEarning: Machine Learning Framework from Industrial Practice （『飞桨』核心框架，深度学习&机器学习高性能单机、分布式训练和跨平台部署）
http://www.paddlepaddle.org/
Apache License 2.0
22.26k stars 5.6k forks source link

paddleinference在cpu上推理rtdetr模型速度极慢，4000ms，怎么回事？ #68599

Open gyx210 opened 1 month ago

gyx210 commented 1 month ago

bug描述 Describe the Bug

paddleinference在cpu上推理rtdetr模型速度极慢，4000ms，怎么回事？

其他补充信息 Additional Supplementary Information

paddleinference在cpu上推理rtdetr模型速度极慢，4000ms，怎么回事？

wangna11BD commented 1 month ago

我使用rtdetr_hgnetv2_l_6x_coco模型，在V100上测试CPU推理速度为1519ms。测速时需要先warmup 50 iter，然后再测速，可以再测个速看看。

image

cpu推理耗时较长，建议使用GPU推理～