search

DeepMotionEditing / deep-motion-editing

An end-to-end library for editing and rendering motion of 3D characters with deep learning [SIGGRAPH 2020]
BSD 2-Clause "Simplified" License
1.56k stars 256 forks source link

处理过手指的重定向吗？ #209

Open anddyhzw opened 2 years ago

anddyhzw commented 2 years ago

您好，请问有使用此方法处理过手指吗？ 我用自己的数据训练了模型，重定向后的身体动作基本一致，但是手指部分还是存在一些问题，以下用其中一个动作来示意说明，原动作如下图所示： 原动作 重定向后的手指如下图所示： 重定向后 主要存在的问题是手指关节的角度有较明显的差别，详细如下： 1、左手四指指端没有伸直并拢，左手大拇指没有弯曲并拢； 2、右手四指弯曲的角度不对。 我大致的思路是，在bvh_parser.py对骨架扩展了所有的手指关节，手指的末端作为末端关节，去掉gan后进行训练，训练的epoch到2k，loss曲线如下： loss

。

PeizhuoLi commented 2 years ago

您好，我们还没有尝试过带手指的数据。但直观上看，手指部分带来的复杂度和整体身体相当，因此可能还需要进行一些额外的loss/设计才能比较完美的解决

anddyhzw commented 2 years ago

感谢百忙之中的回复。 我的数据是配对数据，我尝试过，加入如下loss： 将生成的dst数据与dst ground truth数据的relative pos、absolute pos、quaternion进行误差计算，src的进行同样处理。 但是发现训练后推理的结果变得更差。考虑到手指运动更细，更容易受到手指的父关节影响，也尝试过，将dist扩展到dist=4，但是结果也没有变得好。 不知道您，对loss设计这块有怎样的建议不。 再次感谢！

abcyzj commented 1 year ago

@anddyhzw 安利一下我们在手指重定向方面的新工作：Semantics2Hands，在重定向手指时能够很好地保留原动作手指之间的位置关系