--run_benchmark这个功能是用来将输入的图片和benchmark数据集对比并且输出测试精度的吗？实在没搞清楚这个的功能，因为我只生成了一个log文件：记录了GPU的运行占用率数据。

kkhuangzekai commented 2 years ago

PaddleDetection team appreciate any suggestion or problem you delivered~ --run_benchmark这个功能是用来将输入的图片和benchmark数据集对比并且输出测试精度的吗？实在没搞清楚这个的功能，因为我只生成了一个log文件：记录了GPU的运行占用率数据。

Checklist:

查找历史相关issue寻求解答/I have searched related issues but cannot get the expected help.
翻阅FAQ /I have read the FAQ documentation but cannot get the expected help.

描述问题/Describe the bug

A clear and concise description of what the bug is.

复现/Reproduction

您使用的命令是？/What command or script did you run? !python "/content/drive/My Drive/PaddleDetection/deploy/pptracking/python/mot_jde_infer.py" --model_dir="/content/drive/My Drive/PaddleDetection/fairmot_hrnetv2_w18_dlafpn_30e_576x320" --device=GPU --threshold=0.5 --batch_size=8 --image_dir "/content/drive/My Drive/PaddleDetection/picture" --enable_mkldnn=True --trt_calib_mode=True --run_benchmark=True --save_images --output_dir output/image
```
请填写命令/A placeholder for the command.
```
您是否更改过代码或配置文件？您是否理解您所更改的内容？还请您提供所更改的部分代码。/Did you make any modifications on the code or config? Did you understand what you have modified? Please provide the codes that you modified.
您使用的数据集是？/What dataset did you use?
请提供您出现的报错信息及相关log。/Please provide the error messages or relevant log information.

环境/Environment

请提供您使用的Paddle和PaddleDetection的版本号/Please provide the version of Paddle and PaddleDetection you use：
如您在使用PaddleDetection的同时还在使用其他产品，如PaddleServing、PaddleInference等，请您提供其版本号/ Please provide the version of any other related tools/products used, such as the version of PaddleServing and etc：
请提供您使用的操作系统信息，如Linux/Windows/MacOS /Please provide the OS information, e.g., Linux：
请问您使用的Python版本是？/ Please provide the version of Python you used.
请问您使用的CUDA/cuDNN的版本号是？/ Please provide the version of CUDA/cuDNN you used.

如果您的issue是关于安装或环境，您可以先查询安装文档尝试解决~

If your issue looks like an installation issue / environment issue, please first try to solve it yourself with the instructions in https://github.com/PaddlePaddle/PaddleDetection/blob/release/2.1/docs/tutorials/INSTALL.md

nemonameless commented 2 years ago

--run_benchmark 表示是否重复预测来进行benchmark测速，是专门测速用的，测速指标在此doc。可以全局搜'--run_benchmark'来查看相关代码和文档说明。请参考文档doc --run_benchmark默认False，如果设置为True，则需要安装依赖pip install pynvml psutil GPUtil

kkhuangzekai commented 2 years ago

所以run benchmark是用来对模型进行测速的是吗？

---原始邮件--- 发件人: "Feng @.> 发送时间: 2022年1月17日(周一) 晚上9:58 收件人: @.>; 抄送: @.**@.>; 主题: Re: [PaddlePaddle/PaddleDetection] --run_benchmark这个功能是用来将输入的图片和benchmark数据集对比并且输出测试精度的吗？实在没搞清楚这个的功能，因为我只生成了一个log文件：记录了GPU的运行占用率数据。 (Issue #5123)

--run_benchmark 是否重复预测来进行benchmark测速。请参考文档doc --run_benchmark默认False，如果设置为True，则需要安装依赖pip install pynvml psutil GPUtil

— Reply to this email directly, view it on GitHub, or unsubscribe. Triage notifications on the go with GitHub Mobile for iOS or Android. You are receiving this because you authored the thread.Message ID: @.***>

nemonameless commented 2 years ago

所以run benchmark是用来对模型进行测速的是吗？

是的

kkhuangzekai commented 2 years ago

请问-runmode 使用GPU时，默认为paddle，可选（paddle/trt_fp32/trt_fp16/trt_int8），/trt_fp32/trt_fp16/trt_int8和paddle模式使用时区别在哪里呢？是paddle模式的模型的运行速度会更快吗？还有--batch_size设置为8的时候，与设置为1时相比反而运行慢了0.1S，按理来说不是应该更快吗？我的图片数量是68张。

------------------ 原始邮件 ------------------ 发件人: "PaddlePaddle/PaddleDetection" @.>; 发送时间: 2022年1月18日(星期二) 中午11:18 @.>; 抄送: "life is @.**@.>; 主题: Re: [PaddlePaddle/PaddleDetection] --run_benchmark这个功能是用来将输入的图片和benchmark数据集对比并且输出测试精度的吗？实在没搞清楚这个的功能，因为我只生成了一个log文件：记录了GPU的运行占用率数据。 (Issue #5123)

所以run benchmark是用来对模型进行测速的是吗？

是的

— Reply to this email directly, view it on GitHub, or unsubscribe. Triage notifications on the go with GitHub Mobile for iOS or Android. You are receiving this because you authored the thread.Message ID: @.***>

nemonameless commented 2 years ago

请问-runmode 使用GPU时，默认为paddle，可选（paddle/trt_fp32/trt_fp16/trt_int8），/trt_fp32/trt_fp16/trt_int8和paddle模式使用时区别在哪里呢？是paddle模式的模型的运行速度会更快吗？还有--batch_size设置为8的时候，与设置为1时相比反而运行慢了0.1S，按理来说不是应该更快吗？我的图片数量是68张。

测速指标、环境、设置等都在此文档doc，开trt预测会加速，一般trt_fp16更快。业界测速默认都是统一batch_size为1去测，普通推理或eval可以开任意bs去测。

paddle-bot-old[bot] commented 2 years ago

Since this issue has not been updated for more than three months, it will be closed, if it is not solved or there is a follow-up one, please reopen it at any time and we will continue to follow up. It is recommended to pull and try the latest code first. 由于该问题超过三个月未更新，将会被关闭，若问题未解决或有后续问题，请随时重新打开（建议先拉取最新代码进行尝试），我们会继续跟进。

PaddlePaddle / PaddleDetection