About LM3D

[aizhiqi-work]

非常感谢您的工作，我想在这里问下，提取的数据当中有reconstruct_lm3d，这个是可以可视化的，reconstruct_idexp_lm3d跟据您之前的相关回答是传递给nerf的归一化lm3d的方差。

我主要想问，如果我只想利用前一阶段而非nerf部分，我是不是只需要reconstruct_lm3d，而完全不需要reconstruct_idexp_lm3d提取的idexp_lm3d。

[yerfor]

你好，idexp_lm3d = (lm3d - mean_lm3d_of_3dmm) * 10， 两者是可以很方便地互相转化的关系。之所以要减去mean_lm3d，是为了更好的突出脸部的变化量，供NeRF模型去接收。对于audio-to-motion模块，我们预测的是lm3d，这是为了训练的稳定性。在infer的时候，将lm3d转化成idexp_lm3d，然后输入给NeRF即可。