如何将人的关节信息映射到动画人物上？

Shimingyi / MotioNet

A deep neural network that directly reconstructs the motion of a 3D human skeleton from monocular video [ToG 2020]

https://rubbly.cn/publications/motioNet/

BSD 2-Clause "Simplified" License

563 stars 84 forks source link

Open sunbin1357 opened 3 years ago

sunbin1357 commented 3 years ago

您好，我看到你们的视频里，将人的关节信息映射到了动物身上，从而驱动动物。人和动画人物的躯干长度比例都不同，这个是如何做到的呢？还是说只是将人身上获取的旋转角直接给动画人物？

Shimingyi commented 3 years ago

你好，这个demo不是用的我们的技术实现的，视频里的这个部分是描述的是现在motion capture的一些基本设置。躯干长度、比例、拓扑结构不一样的情况下，需要先进行一次 motion retargeting, 你可以参考一下我们组的这个项目 Deep-motion-editing。

sunbin1357 commented 3 years ago

Deep-motion-editing这个项目我有关注过，他好像对in the wild的数据不太友好。你们组有将pose estimation和 motion retargeting结合起来做成一种端到端的模型吗？或者说这么做有什么难点吗？