牙齿周围伪影问题

Fictionarry / TalkingGaussian

[ECCV'24] TalkingGaussian: Structure-Persistent 3D Talking Head Synthesis via Gaussian Splatting

https://fictionarry.github.io/TalkingGaussian/

213 stars 28 forks source link

Open wwqy opened 1 week ago

wwqy commented 1 week ago

作者你好，训练后推理出来的牙齿部分可以明显看出唇周有伪影，增加训练到20w了，也按照相关issue进行了优化，但该问题还会存在，这是什么原因呢？

Fictionarry commented 1 week ago

你好，不知道所说的伪影具体指什么。上传的视频是口腔内部部分的重建，不包含唇部，旁边杂乱的部分正常来说会被盖住，不会显示在最终的结果中。另外增加训练步数对于解决噪点之类的问题应该没什么用

wwqy commented 1 week ago

不好意思没描述清楚，口腔部分重建时杂乱的部分会被盖住一些，但在牙齿前方还是会看上去有遮挡，如下图，这种情况可以怎么解决呢

Fictionarry commented 1 week ago

不好意思没描述清楚，口腔部分重建时杂乱的部分会被盖住一些，但在牙齿前方还是会看上去有遮挡，如下图，这种情况可以怎么解决呢

没遇到过这种情况，可能是唇部遮罩质量的问题？或者增大train_mouth.py里的select_interval试试，可以极端一点直接设置到99999之类的看看是不是这里的问题