EasternJournalist / live_mocap

Single-view real-time motion capture built up upon Google Mediapipe.
Apache License 2.0
175 stars 37 forks source link

track_hands设为True, 手势不生效 #14

Open damon-93 opened 7 months ago

damon-93 commented 7 months ago

您好,这个是个非常棒的工作,我目前身体的追踪能都流畅的运行 我在开启手势追追踪的时候(track_hands设为True),发现动画中的动作并不生效。 以下是我的一些排查工作: 1.存入tmp/bone_animation_data.pkl的bone_euler_sequence[0].shape=torch.Size([50, 3]),这个值我理解是骨骼旋转的欧拉角度,bone_euler_sequence[0][20:]应该是双手的30个节点的欧拉角度,这些角度是有值的 image

  1. 我尝修手动改bone_euler_sequence中的值,比如 for i in range(len(bone_euler_sequence)): bone_euler_sequence[i][49]= torch.ones((3), dtype=torch.float32) 。发现在blender里面是可以生效的, 所以排除数据到blender未生效的问题 1700190631637_D273B1ED-120C-423c-920C-CADF9041FC17

所以是bone_euler_sequence计算所得的值太小了吗? 还是我哪里用错了?哪个参数没开启?

我用的是mediapipe 0.10.7,还有一个就是我修改了_track_hands中的visibility阈值,visibility在这个mediapipe版本里面一直显示为0,所以我改成了下面这个样子,当然左右手都如此改了 image

damon-93 commented 7 months ago

期待您的解答~非常感谢