lenLRX / Atlas_ACL_E2E_Demo

187 stars 38 forks source link

关于如何测试Atlas200DK上模型的mAP以及profiling中postprocess的一些疑问 #43

Closed Mr1006853138 closed 1 year ago

Mr1006853138 commented 1 year ago

问题一: 你好,我近期在做Atlas200DK上yolov5剪枝模型的部署工作,想要对比模型剪枝前后性能的变化,其中速度可以通过profiling去看,但是mAP不知道怎么测试。我找到了源码中和画框相关的代码段,请问是只能修改源码去做一个bbox坐标提取后,再进行mAP计算吗?还是说项目中有自带的bbox坐标输出接口? image

问题二: 在看profiling生成的yolov5的perflog.json文件时,注意到中间有一段很长的postprocess过程,而同时期并没有其他接口被调用。请问这时的postprocess是在做一个什么工作呢? 以下是yolov5m v6.0的perflog.json文件:

1667539745775 1667539710384
lenLRX commented 1 year ago

问题一: 需要开发一个文件输出output,和一个可选的图片输入input(如果你要使用imagenet数据集的话),文件输出每张图片对应的框的坐标和类别等信息,得到一个json或者类似的文件,然后再用cocotools计算mAP 这部分我之前写了一半,太监了 问题二: 因为这里yoloV5的后处理用的是python代码,所以第一次执行的时候要import pytorch等组件会比较慢

Mr1006853138 commented 1 year ago

了解了,十分感谢

问题一: 需要开发一个文件输出output,和一个可选的图片输入input(如果你要使用imagenet数据集的话),文件输出每张图片对应的框的坐标和类别等信息,得到一个json或者类似的文件,然后再用cocotools计算mAP 这部分我之前写了一半,太监了 问题二: 因为这里yoloV5的后处理用的是python代码,所以第一次执行的时候要import pytorch等组件会比较慢

MichaelToLearn commented 1 year ago

问题一: 需要开发一个文件输出output,和一个可选的图片输入input(如果你要使用imagenet数据集的话),文件输出每张图片对应的框的坐标和类别等信息,得到一个json或者类似的文件,然后再用cocotools计算mAP 这部分我之前写了一半,太监了 问题二: 因为这里yoloV5的后处理用的是python代码,所以第一次执行的时候要import pytorch等组件会比较慢

使用 python 版本的后处理,会让帧率变慢吗?我看官方还有一个 nms 算子方式的后处理:YoloV5-推理指导

image

lenLRX commented 1 year ago

问题一: 需要开发一个文件输出output,和一个可选的图片输入input(如果你要使用imagenet数据集的话),文件输出每张图片对应的框的坐标和类别等信息,得到一个json或者类似的文件,然后再用cocotools计算mAP 这部分我之前写了一半,太监了 问题二: 因为这里yoloV5的后处理用的是python代码,所以第一次执行的时候要import pytorch等组件会比较慢

使用 python 版本的后处理,会让帧率变慢吗?我看官方还有一个 nms 算子方式的后处理:YoloV5-推理指导

image

取决于nms的时间和你推理的数量,如果只有一路视频的话,一般还好,前一帧的nms可以跟后一帧的推理并行,这样就不影响帧率