search

ainrichman / Peppa-Facial-Landmark-PyTorch

Facial Landmark Detection based on PyTorch
Apache License 2.0
213 stars 56 forks source link

关于head pose计算 #7

Closed xuguozhi closed 4 years ago

xuguozhi commented 4 years ago

请问是用keypoint[136]-keypoint[138]的结果做pose输出准，还是opencv solvePnP准确？

ainrichman commented 4 years ago

请问是用keypoint[136]-keypoint[138]的结果做pose输出准，还是opencv solvePnP准确？

不是很懂用keypoint[136]-keypoint[138]如何能输出pose？这个库里的headpose只是简单的用OpenCV的 solvePnP做的，取了68个点中比较有深度特征代表的几个点。

xuguozhi commented 4 years ago

输出的keypoint 中除了包含关键点坐标，还有headpose 眼睛状态等这些信息。具体你可以输出试试

KaiOtter commented 4 years ago

.... keypoint[136]-keypoint[138]不是训练的姿态角度吗？，看代码，dataloader和loss都是支持这项的，然而我试了slim_160_latest.pth，完全不work。 我也是新接触关键点回归这块，想问一下，直接回归角度这条路到底能不能走(即使效果不是sota)？

ainrichman commented 4 years ago

输出的keypoint 中除了包含关键点坐标，还有headpose 眼睛状态等这些信息。具体你可以输出试试

那是些信息只是辅助训练作用，其实不是很准。只是用来区分特征的。

ainrichman commented 4 years ago

.... keypoint[136]-keypoint[138]不是训练的姿态角度吗？，看代码，dataloader和loss都是支持这项的，然而我试了slim_160_latest.pth，完全不work。 我也是新接触关键点回归这块，想问一下，直接回归角度这条路到底能不能走(即使效果不是sota)？

那些只是辅助训练的，不能直接用来当成结果。

xuguozhi commented 4 years ago

直接回归角度是可行的，可能是你测试的方法不对。 https://github.com/hanson-young/nniefacelib/tree/master/PFPLD 这里的作者是有个分支来做headpose，其实和你训练的思想一致。

xuguozhi commented 4 years ago

.... keypoint[136]-keypoint[138]不是训练的姿态角度吗？，看代码，dataloader和loss都是支持这项的，然而我试了slim_160_latest.pth，完全不work。 我也是新接触关键点回归这块，想问一下，直接回归角度这条路到底能不能走(即使效果不是sota)？

那些只是辅助训练的，不能直接用来当成结果。

移植到移动端测下来，精确度用来判断大概的方向是足够了。

ainrichman commented 4 years ago

直接回归角度是可行的，可能是你测试的方法不对。 https://github.com/hanson-young/nniefacelib/tree/master/PFPLD 这里的作者是有个分支来做headpose，其实和你训练的思想一致。

我看了一下，这个库跟我这边的方法是一样的。我这边没有刻意去处理这个pose。由于像机参数是从crop的图像里拿到的，建议还是不要直接拿来用。

xuguozhi commented 4 years ago

no more update.