huaifeng1993 / FashionAI_Key_Points_Detection

Mask R-CNN for FashionAi key point location
101 stars 30 forks source link

你好 #6

Closed wulixunhua closed 6 years ago

wulixunhua commented 6 years ago

看了你的代码model.py这个文件大部分都是参考Mask_RCNN_Humanpose-master这个项目里面的,看到你把关于mask掩码的部分都给删除了。想请教一下删除它的原因是什么呢? 感谢

huaifeng1993 commented 6 years ago

一个是这个任务只需要做关键点即可,二是数据集没有标mask数据,三是关键点和mask是并行的删了mask任务分支对关键点任务并没有什么影响。

wulixunhua commented 6 years ago

还有些问题我没理解,请教一下: 1,是不是mask数据是专门针对实例分割任务的? 2,对于关键点检测,有些文章是基于热图回归的方法,最后每个关键点对应一个feature map。而mask rcnn好像不是这种,那它是用的什么方法?(我理解的是:仅仅对每张图里的10多个关键点进行“实例分割”,而不是对整个人的一大片区域的像素点实例分割,不知道这样理解对不对?) 感谢 @huaifeng1993

huaifeng1993 commented 6 years ago

1.mask数据是针对分割任务。 2.我认为做关键点检测最后实际上是一个分类任务,作者在论文里面提到:For each of the K keypoints of an instance, the training target is a one-hot m × m binary mask where only a single pixel is labeled as foreground. During training, for each visible ground-truth keypoint, we minimize the cross-entropy loss over an m2-way softmax output (which encourages a single point to be detected)。对于一个物体的k个关键点,maskrcnn会生成k个mask,然后独立的对每一个mm大小的mask实施mm 路softmax输出,这是不是可以理解为一个分类任务?。

wulixunhua commented 6 years ago

是明白了。在一个检测框内,一个关键点是一类(blouse就是13类),coco里面的81类,每类对应有掩码真值的区域,而每个关键点只对应(左肩等)那一个像素点。非常感谢!