search

IDKiro / CBDNet-pytorch

Toward Convolutional Blind Denoising of Real Photograph
MIT License
172 stars 29 forks source link

noise level #5

Closed LluLl closed 5 years ago

LluLl commented 5 years ago

在作者的论文里，真实的图像对噪声评估子网络不会训练，然而您的网络采用噪声-gt的方法。还有就是使用对于合成的噪声图像为什么也还是相减？作者的论文感觉对噪声等级图没有讲清楚，但我感觉不是直接相减吧。

LluLl commented 5 years ago

我感觉是合成噪声图像所用的噪声方差，但是总是不明白一维的东西怎么和像素相关，变成多尺寸

IDKiro commented 5 years ago

论文中的噪声模型是一个输入信号相关的量，最后的操作就是在原图像上直接加上计算得到的噪声图（你可以尝试下可视化，是可以看到原图的一些轮廓的）。这个和高斯噪声的按概率分布生成的噪声是不一样的，不能用方差来表示。该文作者的FFDNet也输入了噪声图，那个就是直接复制方差值作为输入的一个通道。 原作者有放出添加噪声的方法，我之前看感觉差的不多也没改（因为他的python实现也和自己写的不一样）。 我说一些浅显的看法：

  1. CBDNet中的模型结构中的噪声估计子网络应该是为后面的可调去噪强度服务的，我的实验中CBDNet在数据集完全一样的情况下和UNet差别很小。这个深监督（算是深监督把）实际对性能影响很小。
  2. 最主要的贡献还是生成噪声的模型，扩大数据集（我的实验结果是RENOIR这个数据集质量一般，但是在SSID上训练会好很多）
  3. 非对称loss我也不知道有没有用，没在其他网络上用过（因为要配合噪声模型使用）。比起用合成数据集，直接把几个真实噪声的数据集拼起来好像更好用。

一些浅显的看法，如果我有理解错误，还请指出。

LluLl commented 5 years ago

嗯嗯，谢谢了，我会进一步验证噪声评估模块的作用，SSID效果好可能与其拍摄设备的数量多，gt选取的为数百个照片的均值，导致其泛化能力更好有关吧，感觉这样下去，提出新的模型刷出psnr不如花大钱买更多的质量好的数据集有用。哈哈哈

juingzhou commented 4 years ago

你好,.mat格式的图片怎么处理,可以说下嘛,我不太会使用

IDKiro commented 4 years ago

你好,.mat格式的图片怎么处理,可以说下嘛,我不太会使用

你如果有问题可以自己开issue，而且这个repo中并没有加载.mat格式的图片，只有CRF的权重，加载使用scipy.io.loadmat()