关于纯色背景训练，换背景测试的问题

Fictionarry / ER-NeRF

[ICCV'23] Efficient Region-Aware Neural Radiance Fields for High-Fidelity Talking Portrait Synthesis

https://fictionarry.github.io/ER-NeRF/

MIT License

1.06k stars 137 forks source link

关于纯色背景训练，换背景测试的问题 #130

Open flysssss opened 8 months ago

flysssss commented 8 months ago

按照训练流程训练完后，效果不错，尝试测试的时候更换背景，结果发现，头发部分会带一些背景 ngp_ep0038_0001_rgb ngp_ep0031_Moment

考虑本身头发是黑色的与黑色背景有重合，便重新训练绿幕背景的视频，只训练了头部，更换背景结果如下，还是带了一些背景 ngp_ep0045_Moment

有没有解决的方法，目前不清楚是训练模型的问题还是推理测试的问题。如果是训练的问题，考虑把parsing分割边缘往里回缩会不会变好。如果是推理测试的问题，就需要改一下代码了

wanghx1121 commented 7 months ago

遇到的问题一样，求解决！~

flysssss commented 7 months ago

@wanghx1121 方案1采用非纯色背景训练，效果有改善，还是存在部分背景。方案2 绿幕背景训练，在推理的时候，后处理增加HSV色彩抠图换背景。这样耗时会增加一部分，流式测试27帧率降低到24帧，不影响。有问题的是由于分辨率过低，人物边缘会出现锯齿状，可以平滑处理一下。这个问题的根本原因感觉是parsing数据的问题，再怎么分割，人体跟背景之间的像素是渐变的

flysssss commented 7 months ago

@wanghx1121 优化后结果差不多这样

wanghx1121 commented 7 months ago

parsing

能否单独交流一下，这个问题。困扰我好多天了。麻烦加我 v:qianxiao1121-ni

2ezInCode commented 3 months ago

佬，怎么更换背景，是直接修改bc.jpg文件吗