heyuanYao-pku / MoConVQ

69 stars 8 forks source link

question #1

Closed zhou431496 closed 1 year ago

zhou431496 commented 1 year ago

工作太优秀了,期待开源!!!! 如果在室内或者其他场景下性能如何呢? VQ是否可以在交互场景下可行?期待回复

heyuanYao-pku commented 1 year ago

感谢您对我们工作的关注!这个工作主要的关注点是将基于物理的角色动画推向更大规模的数据,所以我们的关注点主要放在了对动作的编码与建模。如果想加入室内场景或交互场景一般来讲是需要给模型加入额外的场景condition的,我们目前没有做这方面尝试,但是我个人认为可以考虑在VQ编码的基础上学习一个上层的模型来接受场景的条件的输入,类似于文中提到的文本到动作的生成。下面的链接是我个人认为对该问题可能有帮助的一篇工作。 https://github.com/liangpan99/InterScene

zhou431496 commented 1 year ago

谢谢您的解答