关于finetuning的问题

MVIG-SJTU / AlphaPose

Real-Time and Accurate Full-Body Multi-Person Pose Estimation&Tracking System

http://mvig.org/research/alphapose.html

Other

7.96k stars 1.97k forks source link

关于finetuning的问题 #593

Open yileld opened 4 years ago

yileld commented 4 years ago

我写了个datasets类想要在human3.6m数据集上进行2d姿态的finetune（mscoco训练得的模型作为预训练模型），模型收敛也挺好，但是测试时效果很差（即使是训练集上也很差）。看了下数据和标签的读取应该是没问题的，那么问题还有可能出在哪吗？（仿照mscoco格式来写的，是否有可能是在预处理和输出部分有些根据数据集总体统计得到的超参数是coco的而不适用于该数据集？比如simple_transform或者pose_nms？你们项目代码量较为庞大，我可能有些疏漏没看到）十分感谢！

Fang-Haoshu commented 4 years ago

你可以贴一些vis的结果看看

yileld commented 4 years ago

看标签是正常的，但是结果的话置信度都比较低，而且在bbox外的很多（要说还有原因，可能是没有双眼和双耳的keypoints？）

yileld commented 4 years ago

https://github.com/yileld/odds-ends/blob/master/hm36.py 这是我仿照mscoco写的hm36 datasets，感觉标签的读取应该是没问题的

Fang-Haoshu commented 4 years ago

会不会是bbox不对？我看检测的点都离box很外面的样子你可以检查一下训练的数据和label看看有没有问题

yileld commented 4 years ago

找到原因了。。原来写inferrence wrapper时也用了pose_nms来处理输出结果（只是弄成只有一个pose pred输入），这样在coco上的模型没问题，但在human3.6上的模型就把正确的keypoints坐标变得很离谱。。