解决细节模糊等问题的idea

[aishoot]

Thanks for your nice work! 大佬请教一下，最近我在做虚拟数字人相关的项目，发现您的项目跑出来的肢体模仿视频在一些细节上仍然存在模糊的问题，比如手掌、脚、人体轮廓边缘等，如果我要做到可以商用的程度，还可以做哪些工作呢？比如增大数据集... 请大佬赐教，多谢～

[StevenLiuWen]

@aishoot 你好，目前这个框架主要是解决上传少量图像，然后能快速泛化到不同人物的框架，可能在边缘的细节处还有提高的空间，这种场景的玩法主要是应用在短视频之类的一些特效玩法上，类似这个appearance/motion transfer的玩法。

而虚拟人的场景是，一个模型最好能非常好的拟合到同一个人（一套衣服）上，不需要考虑一个模型泛化到其他任务的场景。

目前这种场景有两种方案：

1. 基于pix2pix translation的GAN的方案，输入一段人物跳舞的sequence，然后提取每一帧的2d pose或者densepose或者3d smpl mesh，甚至外层衣服的mesh都识别和重建出来，然后用网络学习这些识别和重建结果到RGB的映射，这一块可以看一下UCB ICCV 2019，或者nvidia的paper，MPI组的一些工作；这一块目前业界的天花板应该是Meta (Facebook) Virtual Reality Lab，paper上的效果很好（手、脚、边缘细节都不错），但是好像不开源；

2. 目前还有比较火的人体smpl + canonical warping (learnable）+ NeRF的方案，这两年的文章非常多，可以看一下MPI相关组，浙大，中科大，meta几个组工作参考一下。不过目前这类方案手应该还做的还不是很成功，而且也很难建模穿着之类宽松衣服的结果，如裙子，而且渲染速度也比较慢。

希望对你有帮助。

[aishoot]

好的，多谢～