PaddleX 在qt gui的tensorrt加速问题

lijilai commented 2 years ago

本项目在script/jetson_export.sh里配置了tensorrt，在jetson xaiver上运行，对视频进行推理，每帧仅有230ms的推理速度。采用的yolov3 coco的模型。第一次上手paddx在jetson xaiver上应用。不清楚是哪里犯了低级错误。看起来就像没有用tensorrt加速一样。

cjh3020889729 commented 2 years ago

麻烦您检查一下shell脚本中的参数值: 1.WITH_PADDLE_TENSORRT=OFF，是否改为ON 2.TENSORRT_DIR=$(pwd)/TensorRT/，是否改为有效安装路径上述内容一致的话，可以检查下不使用tensorrt的速度是否存在差异。

另外，如果无论是否开启Tensorrt都没有明显的提速，可以尝试使用原生model_infer.cpp编译生成的二进制可执行文件进行运行耗时测试。如果原生model_infer.cpp也存在问题，那就可能需要到paddlex官方仓库下提一个issue了。

cjh3020889729 commented 2 years ago

关于编译原生model_infer.cpp的话，cmake中关于导出dll的配置(ADD_LIBRARY)要注释掉，还原可执行文件导出(add_executable)的配置即可，其它修改配置不变。

lijilai commented 2 years ago

您好，感谢您的回复。根据您的提示，我把WITH_PADDLE_TENSORRT=ON 和OFF做了个对比。发现确实是tensorrt没起作用。对比原生的model_infer，发现他们在onnx_tensorrt目录下的model_infer中第52行对于engine_config的定义是用的TensorRTEngineConfig，而我们的定义是用的PADDLeengineconfig。不知道是不是这里影响了。修改一下试试。李继来-------- 原始邮件 --------发件人： Jinghui Cai @.>日期： 2022年6月5日周日 23:19收件人： cjh3020889729/The-PaddleX-QT-Visualize-GUI @.>抄送： lijilai @.>, Author @.>主题： Re: [cjh3020889729/The-PaddleX-QT-Visualize-GUI] PaddleX 在qt gui的tensorrt加速问题 (Issue #7) 麻烦您检查一下shell脚本中的参数值: 1.WITH_PADDLE_TENSORRT=OFF，是否改为ON 2.TENSORRT_DIR=$(pwd)/TensorRT/，是否改为有效安装路径上述内容一致的话，可以检查下不使用tensorrt的速度是否存在差异。另外，如果无论是否开启Tensorrt都没有明显的提速，可以尝试使用原生model_infer.cpp编译生成的二进制可执行文件进行运行耗时测试。如果原生model_infer.cpp也存在问题，那就可能需要到paddlex官方仓库下提一个issue了。

—Reply to this email directly, view it on GitHub, or unsubscribe.You are receiving this because you authored the thread.Message ID: @.***>

lijilai commented 2 years ago

问题已经解决。在本项目所改动的model_infer中，engine_config.usr_trt=true;没有打开。添加上这一句即可。yolov3的推理速度大概在35ms左右。目标板为jetson xvarier。

cjh3020889729 commented 2 years ago

收到，谢谢您的反馈。已将您的修改建议添加到README中。再次感谢！

cjh3020889729 / The-PaddleX-QT-Visualize-GUI

PaddleX 在qt gui的tensorrt加速问题 #7