search

leoxiaobin / deep-high-resolution-net.pytorch

The project is an official implementation of our CVPR2019 paper "Deep High-Resolution Representation Learning for Human Pose Estimation"
https://jingdongwang2017.github.io/Projects/HRNet/PoseEstimation.html
MIT License
4.32k stars 910 forks source link

Only a single person in multiple images is very poor in pose estimation #227

Open scholar-fuck opened 3 years ago

scholar-fuck commented 3 years ago

When using the HRNet network to test my own data set, if multiple people are detected in the image through faster_rcnn, but I only select the coordinate return value of one of them (the one with the highest predicted score). Then, input it into the pose estimation model, the effect is very poor. However, if the coordinates of multiple people detected in the screen are returned and input into hrnet, the effect is very good. Why is this? In addition, I also tried to estimate the pose with only a single person, and the effect is also very good. who can help me ,thanks!

XHDYC commented 3 years ago

请问你是怎么跟换成自己的数据集的？

xuxiaoxxxx commented 3 years ago

请问你是怎么跟换成自己的数据集的？ 请问你这个问题解决了吗？能给我讲讲吗？谢谢

scholar-fuck commented 3 years ago

您好，     很高兴收到你的回复！我没有更换自己的数据集，只不过是用贵方提供的训练好的模型权重对课堂场景中的教师进行关键点识别。我最初描述的问题没有解决，但是后来我猜测问题的原因是在目标检测器faster-rcnn上。因为，我需要识别出教室场景的电子白板，所以要用到faster-rcnn目标检测器，并训练出能够检测电子白板的目标检测器。我所用的faster-rcnn代码已经和pytorch API中的faster-rcnn不是完全一样了，所以，我认为问题可能出在了我所用的faster-rcnn代码处理图像和变换的某些方式和pytorch API中的faster-rcnn是有出入的，所以导致了这样的问题。后来的解决方法是把自己用的faster-rcnn只用于识别白板，获取白板的坐标然后在图片最后画出来。教师的识别仍然使用pytorch API中的faster-rcnn。这个解决方法只是对我这个任务的一种折衷解决，但并未找到问题的根本原因。

------------------ 原始邮件 ------------------ 发件人: "leoxiaobin/deep-high-resolution-net.pytorch" @.>; 发送时间: 2021年3月9日(星期二) 晚上10:05 @.>; @.**@.>; 主题: Re: [leoxiaobin/deep-high-resolution-net.pytorch] Only a single person in multiple images is very poor in pose estimation (#227)

请问你是怎么跟换成自己的数据集的？ 请问你这个问题解决了吗？能给我讲讲吗？谢谢

— You are receiving this because you authored the thread. Reply to this email directly, view it on GitHub, or unsubscribe.

xuxiaoxxxx commented 3 years ago

您好，我现在是想使用原模型的参数去尝试跑自己的数据，但是发现效果并不是很好，而观看网上视频发现效果都是不差的，我怀疑是否是我数据预处理方面的问题，我是采用yolo进行边缘检测然后直接将检测到的人直接放入模型进行预测判断的。 请问您在实现的过程中有对自己的数据采用什么处理吗？还是说直接采集到人体边框信息直接放入模型就行了？

scholar-fuck commented 3 years ago

您好！       其实我并没有自己的数据集，我只是随便用一段视频在inference.py中测试了一下，用的代码和数据处理方式都是作者他们提供的。所以，我并没有对我的数据进行额外的处理，你说你用的目标检测模型为yolo,我怀疑是不是因为yolo方面进行目标检测的时候对数据进行了处理，导致再用hrnet时效果会变差。当然这也只是我的猜测，因为我之前遇到的问题是用自己的faster-rcnn进行目标检测然后再将检测到的任务放到hrnet时效果也是非常差的，但是用pytorch API的faster-rcnn时，效果是好的。所以，我猜测问题的原因是不是出在了这里。。

------------------ 原始邮件 ------------------ 发件人: "leoxiaobin/deep-high-resolution-net.pytorch" @.>; 发送时间: 2021年3月9日(星期二) 晚上10:37 @.>; @.**@.>; 主题: Re: [leoxiaobin/deep-high-resolution-net.pytorch] Only a single person in multiple images is very poor in pose estimation (#227)

您好，我现在是想使用原模型的参数去尝试跑自己的数据，但是发现效果并不是很好，而观看网上视频发现效果都是不差的，我怀疑是否是我数据预处理方面的问题，我是采用yolo进行边缘检测然后直接将检测到的人直接放入模型进行预测判断的。 请问您在实现的过程中有对自己的数据采用什么处理吗？还是说直接采集到人体边框信息直接放入模型就行了？

— You are receiving this because you authored the thread. Reply to this email directly, view it on GitHub, or unsubscribe.