How to get Da-pose canonical human from a single image? And use the canonical human to do what?

[cocoshe]

Use the key points and bounder of human in the image, and compare it with SMPL mesh to train the parameters in SMPL for a suitable “meta human”？Then control the parameters to edit the pose of the "meta human"? I don't know if my view’s right.

[jiangwei221]

I’m not sure what do you mean…

[cocoshe]

I’m not sure what do you mean…

I'm wondering how to get the canonical human

[jiangwei221]

我还是不明白您的问题是什么意思？

[cocoshe]

我还是不明白您的问题是什么意思？

就是我想请教一下，如何用图像上2d的人物生成paper中“大”字形的3d人体模型？是通过SMPL拟合得到参数后，调节姿态参数得出来的吗？

[jiangwei221]

哦哦，我们用ROMP预测人的beta，然后pose的话全是0，然后手动调节了胯部关节的角度： https://github.com/apple/ml-neuman/blob/84d4685074327227457276f1b60d467f3dab1211/data_io/neuman_helper.py#L292-L297

[cocoshe]

ROMP建立起人体的mesh模型，这个过程都是靠图像中的2d人物吧？我不太明白既然有了可编辑的mesh，大字型和T字型为什么效果会有所不同呢？感觉只是手动调整了可视化的结果，都是表示同一个mesh；顺便再问一问怎么让人体做出自己想要的动作呢？难道是人为控制pose的参数吗？还是说从其他的视频里面通过某种方式提取出动作信息，来控制这里的人体？

[jiangwei221]

ROMP建立起人体的mesh模型，这个过程都是靠图像中的2d人物吧？

是的，ROMP只需要一张图就可以预测SMPL参数。

我不太明白既然有了可编辑的mesh，大字型和T字型为什么效果会有所不同呢？感觉只是手动调整了可视化的结果，都是表示同一个mesh；

大pose和T-pose的区别我们在paper和github issues中都有阐明：#21

顺便再问一问怎么让人体做出自己想要的动作呢？难道是人为控制pose的参数吗？还是说从其他的视频里面通过某种方式提取出动作信息，来控制这里的人体？

只要能提供一组新的pose，就可以渲染对应pose的人体。具体pose如何获得，可以是手动调节获得，也可以通过专业动捕设备，或者是ROMP。

[cocoshe]

SMPL的mesh可以带颜色吗？还是通过其他什么方式给mesh上色？

[jiangwei221]

Emmmm，如果你有texture map是可以的，但是neuman不生成texture map，只生成nerf。

[ihongxx]

请问下，先用ROMP对图像进行估计，在利用SMPL处理及SMPL优化方法处理，我理解SMPL优化方法中只对pose点进行了优化，论文中也展现了pose点优化对比，但是模型的形态是否有进行优化处理呢？

[jiangwei221]

我们没有优化beta，只优化了pose