ANYMS-A / Skeleton_Aware_Networks_for_Deep_Motion_Retargeting

Reproduce the work of the paper "Skeleton-Aware Networks for Deep Motion Retargeting" in Pytorch
57 stars 8 forks source link

关于网络结构的疑问 #5

Closed Vincent-2017 closed 3 years ago

Vincent-2017 commented 3 years ago

你好,如果使用paired数据是否可以不用encoder-decoder结构,原作中是对隐空间进行了约束,既然我们对隐空间的分布没什么要求,应该可以使用更简单的网络,比如全连接来处理,不知我的理解是否有误?

ANYMS-A commented 3 years ago

你好,如果使用paired数据是否可以不用encoder-decoder结构,原作中是对隐空间进行了约束,既然我们对隐空间的分布没什么要求,应该可以使用更简单的网络,比如全连接来处理,不知我的理解是否有误?

你想问的是是否能用全连接替换作者定义的skeleton-convolution是吧?因为encoder-decoder是网络结构,你用全连接层作为基础单元结构也能实现encoder-decoder.

我的理解是,skeleton-convolution的目的是为了能够让拥有不同关节数量的骨骼进行迁移(本质上我觉得skeleton-convolution个graph nerual network很像,相当于把骨骼拓扑结构看作一个graph),这一点我也向原作求证过。https://github.com/DeepMotionEditing/deep-motion-editing/issues/93

对于更简单的网络结构如全连接,我觉得应该也是可行的,毕竟关节旋转已经是非常好的特征了,那么省去使用复杂网络结构来学习高级特征的部分,直觉上也是可以的。

ANYMS-A commented 3 years ago

你好,如果使用paired数据是否可以不用encoder-decoder结构,原作中是对隐空间进行了约束,既然我们对隐空间的分布没什么要求,应该可以使用更简单的网络,比如全连接来处理,不知我的理解是否有误?

不过如果是用paired的数据的话,确实是没有必要去特别关注latent-space的约束,因此可以仅训练一个模型将a的动作mapping到b即可,而不是要同时训练两个模型。

Vincent-2017 commented 3 years ago

你好,如果使用paired数据是否可以不用encoder-decoder结构,原作中是对隐空间进行了约束,既然我们对隐空间的分布没什么要求,应该可以使用更简单的网络,比如全连接来处理,不知我的理解是否有误?

不过如果是用paired的数据的话,确实是没有必要去特别关注latent-space的约束,因此可以仅训练一个模型将a的动作mapping到b即可,而不是要同时训练两个模型。

是的,只要动作库足够丰富,那就可以训练出比较好retarget效果,虽然这个模型是与角色是强相关的,而且原作者貌似也是建议对新角色进行重训,因为预训练的模型在新角色上表现可能不好。

ANYMS-A commented 3 years ago

你好,如果使用paired数据是否可以不用encoder-decoder结构,原作中是对隐空间进行了约束,既然我们对隐空间的分布没什么要求,应该可以使用更简单的网络,比如全连接来处理,不知我的理解是否有误?

不过如果是用paired的数据的话,确实是没有必要去特别关注latent-space的约束,因此可以仅训练一个模型将a的动作mapping到b即可,而不是要同时训练两个模型。

是的,只要动作库足够丰富,那就可以训练出比较好retarget效果,虽然这个模型是与角色是强相关的,而且原作者貌似也是建议对新角色进行重训,因为预训练的模型在新角色上表现可能不好。

没错!这篇文章主要的motivation还是:1.解决不同骨骼数量的retarget。2.upaired-training。如果应用场景是相同骨骼数量的骨架进行重定向的话,貌似是有深度学习外的自动化方法。

Vincent-2017 commented 3 years ago

大佬清楚Mixamo上的retarget方法吗?我看到在某个问题里讨论过。我上传了一个自己的角色发现retarget效果还不错,可以用来作ground truth训练了。我用脚本下载我上传角色的fbx,大概到1200多个就结束了,我看了下文件名基本按照A-Z排序的,但是又感觉像是下载中途出错了,不知道确切的动作数目该是多少。 Snipaste_2020-12-08_19-14-11

ANYMS-A commented 3 years ago

大佬清楚Mixamo上的retarget方法吗?我看到在某个问题里讨论过。我上传了一个自己的角色发现retarget效果还不错,可以用来作ground truth训练了。我用脚本下载我上传角色的fbx,大概到1200多个就结束了,我看了下文件名基本按照A-Z排序的,但是又感觉像是下载中途出错了,不知道确切的动作数目该是多少。 Snipaste_2020-12-08_19-14-11

Mixamo的自动重定向和绑定方式我都确实不了解具体的原理。 看样子像是下载中断了,不知道是不是电脑睡眠造成的网络中断。

Vincent-2017 commented 3 years ago

好的,多谢