search

yfeng95 / PRNet

Joint 3D Face Reconstruction and Dense Alignment with Position Map Regression Network (ECCV 2018)
http://openaccess.thecvf.com/content_ECCV_2018/papers/Yao_Feng_Joint_3D_Face_ECCV_2018_paper.pdf
MIT License
4.95k stars 947 forks source link

关于 应用的 问题。 #9

Closed sunjunlishi closed 6 years ago

sunjunlishi commented 6 years ago

你的工作非常漂亮，我也研究了 eos 和 3dmm 1 表情同步 我在想多张图片去纠正 一个人的3d模型，比如正脸调整出一个3d模型，侧脸图片，再去调整 3d模型，最终更好的估算出此人的3d模型，虽然eos 有多张人脸的处理. 先估算出一个人准确的3d无表情模型，以此模型为基础，去估算后面的，得到表情变化参数。 然后把这些参数作用到其他3d人脸上。 希望以后可以和你交流

sunjunlishi commented 6 years ago

3dmm我也尝试了，但是对亚洲人的人脸处理不太好，而且鼻子貌似都是点大。而且模型是不是可以压缩啥的，我希望我以后的研究重心可以放到模型压缩上。然后结合多张人脸+刚性变化参数估算（旋转，缩放，位移）+非刚性变化参数（局部变化参数）等等，你的 3d----密度UV这样的思路正是人脑的建立的模型吧，怎么把他们用起来，迷茫呀。

sunjunlishi commented 6 years ago

1 2 3 4

sunjunlishi commented 6 years ago

深度细节很到位，但是脸偏长，鼻子偏高。 不过你的算法是我见过最好的

sunjunlishi commented 6 years ago

希望可以联系你，向你请教

xgits commented 6 years ago

这个还是以robust为主， 多个图片纠正我已经做好了， 没什么难度, 但效果提升不大。UP主最近比较忙，后面会有新项目 （I am nobody, 替UP回复一下）。

sunjunlishi commented 6 years ago

多张是几何的角度

yfeng95 commented 6 years ago

你好，

  1. 从多张图片中得到更准确的人脸模型也是一个研究方向，如何去处理表情，姿态带来的同一人脸的变化有很多细节问题
  2. 3DMM是因为采集数据的问题，具体的应该是BFM的问题，由于建立模型时缺少亚洲人的人脸模型，所以有这样的问题。实际上，我的这个demo也会有同样的问题，因为现今的模型是使用BFM拟合的数据进行训练的，脸偏长，鼻子偏高就是因为训练数据的原因。我正在努力解决这个问题。
  3. 如果是关于学术方面的讨论，还是请联系这个邮箱fengyao@sjtu.edu.cn，issue这里最好是有关代码的问题。 另外，正如 @xgits 所说，我最近比较忙，可能会回复的比较慢。

谢谢！

sunjunlishi commented 6 years ago

嗯，解决的彻底。可以在您的基础（模型压缩应该可以后续解决）之上衍生很多应用，专业的是动画制作，表情同步，游戏。其他的如app，做些gif的搞笑之类。谢谢你的邮箱，因为没有见你的公开邮箱，因此提了issue

sunjunlishi commented 6 years ago

网络模型能再小点多好，我感觉 效果非常好，整体。可以用mobilefacenet 或者mobilenet的 思路？

sunjunlishi commented 5 years ago

为什么没有caffe的模型？？