search

YuHengsss / YOLOV

This repo is an implementation of PyTorch version YOLOV Series
Apache License 2.0
309 stars 43 forks source link

questions about mAP and fps #46

Closed XiaoSue closed 1 year ago

XiaoSue commented 1 year ago

您好，我想请教您以下两个问题： 1.在训练模型时输出的测试集mAP和单独运行vid_eval.py时得到的mAP不一致是怎么回事呢，而且发现两种操作生成的refined_pred.json文件的大小并不相同，我初步猜测是不是因为一些阈值的设置不同，导致产生的预测框数量不同，最终的测试结果不一样呢，应该以哪个为准呢 2.如果想要测试模型的FPS有相应的文件么，还是将Average forward time与Average inference time相加得到总共需要的时间 期待您的解答

YuHengsss commented 1 year ago

您好

  1. 训练时的eval默认仅使用了一部分 validation set 测试精度，并且默认的 reference frames =16。 vid_eval 时是采用的所有测试集，reference frames = 32, 请以后者为准. https://github.com/YuHengsss/YOLOV/blob/0331141fbe1572d22f9f0a22f5b88d500e2cbe76/tools/vid_eval.py#L104 https://github.com/YuHengsss/YOLOV/blob/0331141fbe1572d22f9f0a22f5b88d500e2cbe76/tools/vid_eval.py#L102
  2. 单个视频的模型测试推理时间可以从vid 的 online demo得到。注：这部分比较吃cpu（有一个topk的排序）https://github.com/YuHengsss/YOLOV/blob/0331141fbe1572d22f9f0a22f5b88d500e2cbe76/tools/yolov_demo_online.py#L141