Review-2018.05.27-曹子美

[caozimei]

论文： Methods and datasets on semantic segmentation ： A review

1.前言

• 什么是语义分割 ：语义分割也称为场景标注，指的是将一个标签标注到图片的每一个像素上。
• 语义分割的发展背景：一开始语义分割和图片分割并没有太大的区别，仅仅是特别强调了语义。后来由于对象分割和识别（object segmentation and recognition）的出现，使得从背景分离所有语义对象的问题和普通图像分割成文两种问题。并从最简单的两类分割问题转变成为一个多任务分割问题（multi-class image labeling），目前语义分割既要解决找出问题在哪里的问题也需要告诉我们物体是什么。
• 获得高质量的语义分割急需解决的两个问题：特征表示 如何利用上下文信息来确保像素标签间的一致性

2.前提知识

• pixels v.s. superpixels: 超像素概念是2003年Xiaofeng Ren提出和发展起来的图像分割技术，指具有相似纹理、颜色、亮度等特征的相邻像素构成的有一定视觉意义的不规则像素块。
• 超像素的优点： 它利用像素之间特征的相似性将像素分组，用少量的超像素代替大量的像素来表达*图片特征，很大程度上降低了图像后处理的复杂度，所以通常作为分割算法的预处理步骤。
• 超像素的分类：本文主要提到了简单线性迭代聚类SLIC（预设分割数）和Turbopixel(费时） 其中关于的方法：超像素分割SLIC算法
• contextual models建模：在语义分割community中，guaph通常与马尔科夫理论结合使用建立情境模型 有关MRF和CRF:Recorder︱图像语义分割（FCN、CRF、MRF)

3.基于手工特征标注

• Methods using CRF:为了确保空间一致性的一个更有效的方法是采用诸如MRF和CRF的contextual模型来模拟像素和区域之间的关系。
• Non-parametric methods:到目前为止概述的所有方法都使用固定数量的类，并且需要使用复杂的参数化模型，尤其是非关联CRF方法。当需要考虑新班级时，需要调整所有模型参数，这将非常繁琐。 为了避免这个问题，L开发了一种用于场景标记的非参数化方法。这种方法的核心思想可以被描述为“标签转移”，它们的匹配像素在标记图像中找到。

4.基于learned feature方法

• region proposal：RPN网络做的事情就是，把一张图片中，我不感兴趣的区域——花花草草、大马路、天空之类的区域忽视掉，只留下一些我可能感兴趣的区域——车辆、行人、水杯、闹钟等等，然后我之后只需要关注这些感兴趣的区域，进一步确定它到底是车辆、还是行人、还是水杯（分类问题） 天空和马路都是背景 天空和马路都是背景

来源：目标检测中region proposal的作用？

5.评估和比较

添加CRF的模型表现优于不添加CRF 第三列添加，第四列不添加

6.未来方向

更好的理解CNN的黑箱模型，搞明白内部到底是怎么工作，以便于更好的优化 3DCNNs for point cloud labeling 弱监督和半监督 需要更复杂的数据集 通过认知科学开发更多的新模型，加强学科之间的交流。

[ilydouble]

推荐两篇文章阅读： 1 https://medium.com/@keremturgutlu/semantic-segmentation-u-net-part-1-d8d6f6005066 这是一个新手讲述的如何理解和利用unet参加kaggle的一个比赛，这个比赛刚刚结束. 2 另一篇是颜水城老师的论文 A Survey on Deep Learning-based Fine-grained Object Classification and Semantic Segmentation