lartpang / Machine-Deep-Learning

:wave: ML/DL学习笔记(基础+论文)
262 stars 58 forks source link

论文-Natural Image Matting Using Deep CNN #37

Open ghost opened 5 years ago

ghost commented 5 years ago

https://sites.google.com/site/cnnmatting/

https://blog.csdn.net/qq_36165459/article/details/78549746

这篇论文主要基于closed form matting和KNN matting两种方法,利用CNN,以两种方法输出和RGB图像一起作为神经网络的输入,从而达到融合局部和非局部方法。论文声称是第一次将深度学习用于自然图像抠图。

Motivation

论文的动机主要来源于local methods的closed form matting和unlocal methods的KNN matting。文中较大篇幅在分析两种方法,这里也借此机会学习一下有代表性的传统方法。

closed form matting

封闭式表面抠图假定局部颜色分布遵循color line model,其中局部窗口内的颜色可以表示为两种颜色的线性组合。基于这个假设,Levin导出了matting Laplacian,证明了前景的alpha matte可以在没有明确估计前景和背景颜色的情况下以封闭的形式求解。从那以后,matting Laplacian被广泛地用作正则化来增强估计的alpha matte和其他应用的平滑性。该方法的优点是参数少,多数图像满足color line model的假设;不足就是假设失效的情况也是比较多的。

KNN matting

KNN抠图属于非局部抠图,其目标是通过允许alpha值在非局部像素中传播来解决matting Laplacian的局限性。类似于closed form matting,非局部抠图也对采样的非局部像素进行了假设。它假定像素的alpha值可以通过具有相似外观的非局部像素的alpha值的加权和来描述。在非局部抠图中,相似的外观由颜色,距离和纹理相似性来定义。然而,由于非局部像素的比较,其计算非常高。KNN matting通过仅考虑高维特征空间中的前K个近邻而改善了非局部抠图。它通过仅考虑颜色和它们特征空间中的位置相似性来减少计算。优点也是参数少,易于调整;不足是定义一个通用的特征空间是困难的。

ghost commented 5 years ago

image