irfanICMLL / colorization

reading note
3 stars 0 forks source link

阅读体会Global and Local #2

Open irfanICMLL opened 7 years ago

irfanICMLL commented 7 years ago

这篇文章简述了如何给灰度图上色,在这其中还可以顺便输出一下图片中的东西分类。感觉不如上一篇文章创新性强,是通过一个加上一个分类限制让上色显得更真实。就是基本的特征提取网络和分类网络的一个结合。唯一一点与普通CNN不同的是,它可以对不同分辨率的图片进行操作,既提取图片的全局特征,又提取了每个224*224的patch上的特征。最后着色结果更加自然。损失函数的定义方法也非常常规,就是生成图片与真实图片像素差值的均方误差,和分类误差。本文在github上作者给出了源代码,是基于torch写的。

不过这篇文章有一点很有意思,就是副产品,结合了分类网络可以输出分类。如果我们最后开发的那个给小孩画画的应用,可以在素描上简单涂上颜色之后,就自动上色成真实image的水平,并且给出每个图中的小物品是什么名字的话,感觉更具有趣味性。只是这篇文章的训练集和测试集都是真实的灰度图,没有手工粗糙画的sketch,不知道分类网络加入进来的话,能否有效果。