PeterL1n / RobustVideoMatting

Robust Video Matting in PyTorch, TensorFlow, TensorFlow.js, ONNX, CoreML!
https://peterl1n.github.io/RobustVideoMatting/
GNU General Public License v3.0
8.53k stars 1.13k forks source link

建议大家用变焦摄像头,效果应该会更好~ #170

Open surifans opened 2 years ago

surifans commented 2 years ago

在研究DGF(深度引导滤波)的时候,边缘细节一直达不到很精细的效果,这一方面跟输入尺寸有关,应该还跟摄像头能不能对人像自动对焦有关,因为在研究引导滤波的时候发现,论文里面用的图片都是对前景对焦了,对背景模糊了,这样搞当然能达到发丝级别的效果,但是如果背景没有模糊呢?实测发现如果定焦,背景没有模糊,引导滤波做边缘细化效果确实会打折扣!

所以我的结论是,如果使用能够对人像进行对焦的变焦摄像头,效果应该会更好~

li-wenquan commented 2 years ago

@surifans 你好,请教一下,我按照论文中提供的关键字爬取了背景图片并重新训练了模型,我使用了论文中所有的数据集,正如论文描述的那样训练,不过训练时我的序列长度比论文中要短,因为我的GPU内存较小。但是,我训练的模型预测fgr的结果和官方的fgr结果有很大的区别,正如下图所示,我训练的模型预测的fgr没有像官方的fgr那样嘈杂,你可以看到,官方模型预测的fgr(图1)包含了原来背景的信息,可以看到人的背景是绿色的树木,但我的模型的预测结果(图2)中却没有这些背景信息。请注意,这不是偶然,几乎所有测试数据结果都是类似的,我不明白这是为何?我还特意检查了训练fgr所用的Loss,的确跟官方一样,而且我使用的代码是官方的最新版本。你知道是什么原因导致这种区别吗?很期待你的回复,谢谢。 fgr1

                                     图1 官方模型预测的fgr

fgr2

                                     图2 我训练的模型预测的fgr