irfanICMLL / colorization

reading note
3 stars 0 forks source link

阅读体会:colorful image colorization #3

Open irfanICMLL opened 7 years ago

irfanICMLL commented 7 years ago

data:任何有颜色的图片(来源于ImageNet上的1.3M训练图片和10K张测试图片) 对比试验所用数据集来源于文章:Learning Large-Scale Automatic Image Colorization

method: input——L通道 ,灰度图 output——一个WHQ的矩阵,对每个点在313个可能的颜色空间上的取值给出一个概率 目标函数,颜色分类错误对数误差和乘上一个与先验颜色分布有关的权重系数(颜色越常见,系数越小)。 利用CNN,Caffe,代码开源在github上。https://github.com/richzhang/colorization

results:在AMT测试上达到32.3%,远超文中选取的别的方法。

innovation: class rebalancing——对不常见的颜色的权重进行调整,在loss function里面的权重大一些。 annealed-mean——对于输出结果合成图片时,选取众数的值容易产生不连续的斑点,选取平均 数的值不生动,颜色不自然。最终利用模拟退火技术,遍历T,找到最佳参数拟合输出 AMT(衡量标准)——对于一组图,真实图和生成图,让被测试者选出哪个有假的颜色。 ps:这个与之前那个sketch生成image的比起来更难一些,那篇文章的描述说,让被测试者看一张图片,选择真实或者不真实,没对比的话正确率自然高一些。不过根据这篇文章中的结果看,一些真实图片的颜色确实有点奇怪,不知道是不是为了发文章。。。

useful details:没有pooling层,都是通过上采样或者降采样、颜色权重均衡。(把输出当做一个分类问题这种思路比较清奇,不知道能否用得上)