LiMeng95 / MultiPoseNet.pytorch

pytorch implementation of MultiPoseNet (ECCV 2018, Muhammed Kocabas et al.)
196 stars 32 forks source link

有关预测结果问题 #7

Closed accountcwd closed 6 years ago

accountcwd commented 6 years ago

@LiMeng95 你好,我用你的预训练模型infer一些图片后发现有以下两点问题: 图一:pic1-2canvas 有两个keypoint跑到了box外面了,按照论文的思路应该只在框内找合适的keypoint匹配,这是什么原因呢。

图二:000025245-2canvas 最右边的那个框明显没包含到正确的人,而且有一个点也跑到框外了(虽然是对的)

LiMeng95 commented 6 years ago

@accountcwd 你好,

关于第一张图, 使用prn进行测试的时候对边框进行了一定的扩大,见tester.py#L353,在原作者代码中也是相同的处理。in_thres参数值可以在test.py#L16中进行调整。

关于第二张图,

  1. 点在框外的问题同上。
  2. 边框检测的问题是由于目前训练的detection subnet表现还不是太好,目前还在想办法调整。
  3. 连线出错的问题应该与prn subnet本身有关。
accountcwd commented 6 years ago

@LiMeng95 原来如此,感谢你的回答~ 不过我觉得把框扩大1.21倍范围来检测点有点太夸张了,导致的后果是:本来一些不可见的点,比如侧身的耳朵、手臂或者半身以下的脚踝,被强行识别到背景里的关节上,就像上面那两张图那样。

另外,据我观察现在工程上的detection subnet还是按照80个类别分类来做训练的吧?该任务只需要做people的检测,我觉得可以改成2分类,这样检测子网络的效果和速度应该都会有所提高

LiMeng95 commented 6 years ago

@accountcwd ,你好 是的,这个边框扩大的阈值可以进行调整。

另外关于detection subnet训练的问题,论文里是按照二分类进行训练的。目前的代码确实是按80类做的,这个地方现在还在修改。之后会给出改进后的版本。

accountcwd commented 6 years ago

@accountcwd ,你好 是的,这个边框扩大的阈值可以进行调整。

另外关于detection subnet训练的问题,论文里是按照二分类进行训练的。目前的代码确实是按80类做的,这个地方现在还在修改。之后会给出改进后的版本。

期待你的优化版本~