search

moonbow721 / DPoser

Official implementation of the paper "DPoser: Diffusion Model as Robust 3D Human Pose Prior"
MIT License
50 stars 2 forks source link

在EHF数据集上得到的结果和主页上的demo不一致 #3

Closed ShaoYunZhe closed 5 months ago

ShaoYunZhe commented 5 months ago

作者你好，感谢你的工作！

我在尝试复现你HMR部分的结果，但是似乎效果不尽如人意。我首先使用你提供的demo：python -m run.demo_fit --img=./examples/image_00077.jpg --openpose=./examples/image_00077_keypoints.json，看上去没什么问题。 image 接着，我试图用EHF数据集中的图片和keypoint来替换你提供的例子，但是结果就变得很差。 image 我只修改了python脚本中的文件路径，代码没有任何改动。我想请问这个结果是正常的吗？（我注意到项目主页demo展示了这个图片的定性结果）还是说我没有正确地使用你的代码？

再次表示感谢！！

moonbow721 commented 5 months ago

您好，感谢您的关注！ 对于EHF数据集的HMR实验，项目主页中展示的是arxiv v2版本的结果，与现在代码仓库(arxiv v1)相比，一个主要的区别是我们使用ViTPose来进行2d关键点检测，因为我们发现EHF数据集使用OpenPose得到的2d关键点不太准确。此外，我们对代码进行了一些重构，包括用pytorch lightning来进行训练等等，这个仓库也将尽快更新。

这里是一个脚本，可以用于把ViTPose-wholebody的格式转换为需要的OpenPose 25 body joints，希望它可以帮到您！ joint_mapping.txt

ShaoYunZhe commented 5 months ago

好的，所以说以您现在公开的代码为准，得到上图中的结果是正常的，并不是我的使用方法不对。是这样吗？

moonbow721 commented 5 months ago

是的，如果想要改善这个情况，也可以尝试调整优化的参数，例如增大pose_prior_weight。

ShaoYunZhe commented 5 months ago

好的，那这样看起来，一个准确的关键点检测器很重要。感谢您的回复！