li-ronghui / FineDance

FineDance: A Fine-grained Choreography Dataset for 3D Full Body Dance Generation. (ICCV2023)
Other
127 stars 7 forks source link

数据集 motion中smpl_poses关节点问题 #3

Closed YuanFeis closed 8 months ago

YuanFeis commented 1 year ago

按照官方代码,motion数据是 (n,315),每一行前3列是trans 后312是pose 根据smplx的代码 smplh有72个关节,应该是 72*3=216 剩下的 96/3= 32 个 数据是什么?

joint_names.py

可能我的理解有误,感谢您的批评指正

li-ronghui commented 1 year ago

你好,数据的前三维度是trans,后312=52*6是以rot6d的旋转角,通常情况下rot6d比axis更适合训练。 从rot6d转化到axis可以通过下面的代码实现:

from pytorch3d.transforms import (matrix_to_axis_angle,rotation_6d_to_matrix) def ax_from_6v(q): assert q.shape[-1] == 6 mat = rotation_6d_to_matrix(q) ax = matrix_to_axis_angle(mat) return ax

YuanFeis commented 1 year ago

你好,数据的前三维度是trans,后312=52*6是以rot6d的旋转角,通常情况下rot6d比axis更适合训练。 从rot6d转化到axis可以通过下面的代码实现:

from pytorch3d.transforms import (matrix_to_axis_angle,rotation_6d_to_matrix) def ax_from_6v(q): assert q.shape[-1] == 6 mat = rotation_6d_to_matrix(q) ax = matrix_to_axis_angle(mat) return ax

pangwong commented 12 months ago

@li-ronghui 请问npy中的motion是基于smpl-h的male还是female的骨骼呢,没有看到相关的描述。谢谢。

li-ronghui commented 12 months ago

@li-ronghui 请问npy中的motion是基于smpl-h的male还是female的骨骼呢,没有看到相关的描述。谢谢。

你好,这二者的骨骼是应该是一致,shape有所差异,我们用的是neutral的初始shape

pangwong commented 12 months ago

@li-ronghui 请问npy中的motion是基于smpl-h的male还是female的骨骼呢,没有看到相关的描述。谢谢。

你好,这二者的骨骼是应该是一致,shape有所差异,我们用的是neutral的初始shape

了解了,谢谢!这几个的骨骼拓扑应该是一样,骨骼长度应该不太一样;主要是想了解骨骼的长度是基于哪个模型重定向的,因为看论文说:

Then engineers retarget it to a standard skeleton in MotionBuilder.

li-ronghui commented 12 months ago

@li-ronghui 请问npy中的motion是基于smpl-h的male还是female的骨骼呢,没有看到相关的描述。谢谢。

你好,这二者的骨骼是应该是一致,shape有所差异,我们用的是neutral的初始shape

了解了,谢谢!这几个的骨骼拓扑应该是一样,骨骼长度应该不太一样;主要是想了解骨骼的长度是基于哪个模型重定向的,因为看论文说:

Then engineers retarget it to a standard skeleton in MotionBuilder.

我们用的标准模型是smplx的初始neutral模型。骨骼长度和这个一致

pangwong commented 12 months ago

@li-ronghui 请问npy中的motion是基于smpl-h的male还是female的骨骼呢,没有看到相关的描述。谢谢。

你好,这二者的骨骼是应该是一致,shape有所差异,我们用的是neutral的初始shape

了解了,谢谢!这几个的骨骼拓扑应该是一样,骨骼长度应该不太一样;主要是想了解骨骼的长度是基于哪个模型重定向的,因为看论文说:

Then engineers retarget it to a standard skeleton in MotionBuilder.

我们用的标准模型是smplx的初始neutral模型。骨骼长度和这个一致

好滴,感谢!

MingCongSu commented 10 months ago

请问 motion_fea319(n, 319)代表什么? 和原本 motion数据(n, 315)差别在哪?

li-ronghui commented 10 months ago

请问 motion_fea319(n, 319)代表什么? 和原本 motion数据(n, 315)差别在哪?

多出来的前4维数据,是根据脚踝和脚尖计算的foot contact label。详见代码 https://github.com/li-ronghui/FineDance/blob/main/data/code/pre_motion.py

Malacca1211 commented 2 months ago

你好 Finedance是smplh格式的,但是smplh有72个关节,finedance只有52个,请问finedance中关节点是怎么对应的呢 是https://github.com/li-ronghui/FineDance/blob/main/vis.py 中的smplh_joints吗

顺颂秋安