Xinyu-Yi / TransPose

A real-time motion capture system that estimates poses and global translations using only 6 inertial measurement units
https://xinyu-yi.github.io/TransPose/
GNU General Public License v3.0
373 stars 72 forks source link

如何定标 #60

Closed whl-007 closed 1 year ago

whl-007 commented 1 year ago

你好,我捕获ground-truth使用的是反光点和vicon的光学动作捕捉系统,看到你的实时演示的imu定标的代码如下: image 我看到你只对imu 1 定标,那么其他的imu就不用定标了是吗?我更想问的一个具体问题是你们使用的是光学动捕系统捕获的ground-truth吗?在imu定标的时候需要和光学动捕系统的x、y、z轴对齐是吗?那手动对齐岂不是会有很大的误差,还是说你们使用了其他特别的方法(比如T-pose解决了一些问题)呢?希望你能解决我的问题!

Xinyu-Yi commented 1 year ago

我们用的数据集,直接包含了groundtruth pose,不需要自己采。对齐光学动捕坐标系和imu的全局惯性系可以用t-pose calibration

whl-007 commented 1 year ago

我明白啦,非常感谢,我还有一个问题想问您,你是怎么把6个imu的坐标系对其的呢?我对你的代码的理解是先读取 IMU 数据并计算过去3秒中最后 buffer_len 帧测量的平均四元数和平均加速度,然后将四元数转换为旋转矩阵,之后就可以穿上imu设备和T-pose了,经过将四元数转换为旋转矩阵和T-pose操作之后是就可以将6个imu的坐标系进行对其了吗?

whl-007 commented 1 year ago

哦哦!我发现您是不是在做动捕实验的时候将所有的imu的加速度数据和姿态角度信息都转换成 东北天 坐标系(ENU)中的加速度和角度信息来完成6个imu的坐标系对齐(都放在ENU坐标系下处理)呢?希望您能解答我的问题,非常感谢!

Xinyu-Yi commented 1 year ago

差不多,6个imu的旋转测量值都是同一全局坐标系下的,什么坐标系都行,右手的就行。加速度我忘了是sensor坐标系还是全局坐标系了,如果是local 的就Ra+g算一下

Xinyu-Yi commented 1 year ago

有磁力计所以不需要对齐每个IMU的全局坐标系。

whl-007 commented 1 year ago

嗯嗯,确实在您的代码中找不到对齐六个imu坐标系的操作,但是正如您的论文附录中A.1 Calibration所说 image image 将IMU与SMPL身体模型对应的坐标系进行对齐,是通过“ 在捕捉动作之前,首先将一个IMU放置在其传感器坐标系𝐹(𝑆)的轴与SMPL坐标系𝐹(𝑀)的相应轴对齐,即将IMU放置在真实世界中,使其𝑥轴指向左侧、𝑦轴指向上方和𝑧轴指向前方。然后,可以将方向测量𝑷(𝐼𝑀)视为从𝐹(𝐼)到𝐹(𝑀)的过渡矩阵:B(M)=B(I)P(IM)。 ”的方式对齐的,但是将IMU放置在真实世界中,使其𝑥轴指向左侧、𝑦轴指向上方和𝑧轴指向前方手动放置是不是会有非常大的误差呢?您在实验的时候具体是怎么操作的呢?通过这样的操作然后将imu的数据向smpl的人体姿势模型对齐就可以直接做实验,将imu的数据丢进您的网络预测了是嘛。

whl-007 commented 1 year ago

大佬,我懂了,感谢你为我解惑!!