LargeFishPKU
commented
5 years ago 12.Segmentation Is All You Need
这篇论文是当前anchor-free热潮中比较新颖的一片论文，方法就如文章的题目，只用了分割的方法来解决目标检测的问题。基于anchor的检测器有以下几个问题：（1）密集提取anchor会造成耗费大量的时间和空间，并且大部分的anchor都是没用的（包含了背景类或者一小部分的物体）（2）最终要经历NMS阶段，NMS由于自身的缺陷并不会过滤掉分类不好的背景框
分析：如果整个检测的框架都是基于分割的话，就很好的避开了上述两个问题：首先是不需要预定义anchor；其次由于分割是instance-aware的，通过分割的结果可以唯一确定一个框，不需要NMS来过滤掉多余的框。另外分割是像素级的分类，不再需要回归更高语义的框的偏移量，而是通过每个物体分割的轮廓作为最终的检测框，那么框的质量应该是更好的（如果分割效果不错的话）。同时，还可以顺便解决掉传统目标检测潜在的几个比较关键的问题：（1）遮挡问题（2）光照问题（3）小物体问题具体可见下图Figure1:
产生监督信息
首先，要训练一个网络首先要处理训练的数据，那么现有的分割的GT显然是不行的，因为分割的信息要明确到每个物体。文中作为将这种监督信息称为（Multimodal Annotations）。整个GT的监督信息是三通道的，分别是内切圆（the interior）、轮廓（the boundary）和几何内部的边界（the boundary on the interior of geometries）。具体见图Figure 2所示：
值得注意的是产生边界的时候需要一个厚度值w，原因如下几点：单独产生宽为1像素的点，那么同一张图中，负样本过多；其次，由于这些GT是完全通过检测框来产生的，所以不能保证所有的内切圆就完整的包含了该物体。不过第一个原因更重要一点。
训练网络
整个网络结构是Hourglass的改进版本，主要的改进是增加了一个模块——multi-scale block。整体架构如Figure4所示：
其中multi-scale block分别通过1x1，3x3，5x5和7x7对feature map进行average pooling，然后把得到的新的featrue map进行连接形成一个整体的feature map，如图Figure 5：
使用分割的结果形成检测结果
通过上面得到的三通道的特征如果形成最终的检测结果如下图所示：
由上图可知，最重要的就是contour tracing算法，它是将分割结果转化成检测结果的关键，具体操作如下：首先遍历整个feature map，并且初始化两个变量：ledge和redge，对于整个feature map从上到下，从左到右来寻找物体边缘，如果一个像素的值为1，并且左边的像素值为0，那么就是左边缘，反之就是右边缘。接下来就是找和这些边缘点属于同一个物体的边缘点，在上一行，如果存在l1edge和r1edge的x坐标跟当前的相差1个像素或者相等，那就是属于同一个物体，具体算法流程如下：
找到了边缘点之后，就可以找到相应的外切矩形了，最终的检测框也就形成了。
试验结果
这里就只贴出在COCO上的结果了，其他的几个小实验可以参考原文：
table2和table3分别是precision和recall的实验结果，可以看出，在mAP上，该方法确实对于小物体的提高比较明显，毕竟分割是直接对像素进行分类，而不用小物体自己的特征去分类和做回归。
首先，因为自己看过的检测文章也算是比较多了，看到这篇文章的idea时候，我首先是想到了两点：（1）4个极端点就可以确定了整个框，中心点的引入是为了更好的校正4个极端点的，那具体是怎么校正的；（2）极端点显然对于大多数物体是不唯一的，比如一个汽车，这种物体的左边缘可能就是一条线，那么在这条线上，用哪一个点来作为这个物体的极端点呢？并且，这种情况还导致了对于极端点，一条线上的响应应该是都很高的，最后做group操作的时候怎么去重也是个问题。幸运的是，文中作者都给出了答案，我想这也是本篇论文的比较大的亮点。 
这个应该都能想的到，最起码有5类feature map，分别来预测4个极端点和一个中心点，同时还有4个偏移量的featrure map，这个是来校正feature map的坐标映射到原图坐标的时候来弥补误差的。很好理解，因为原图的坐标映射到feature map上必然会出现小数，但是feature map映射到原图是不会出现小数的，那么这个误差就由这四个featrue map来预测。网络是hourglass，是关键点中很经典的网络结构，原理跟FPN差不多。 
检测的效果图如下：
同时，之前说过，可以扩展去得到物体的mask，那么跟mask rcnn对比的实例分割的结果对比如下：
11.Feature Selective Anchor-Free Module for Single-Shot Object Detection
本片文章是围绕着Single-Shot Object Detection设计优化的anchor开展工作的。开篇一张图：
从图片的对比中可以看到，先不论方法是具体是怎么样的，提升的部分估计是归功于小物体的检测，明显右图相比左图，小物体的检测更加的优秀。其实文章中确实对小物体检测做了优化。
既然anchor的先验知识存在这么多问题，那可以不使用anchor吗（不得不说作者的脑洞是挺大的）？作者提出了一个FSAF的模块，让每个物体自由选择最合适的feature level而且不受anchor boxes对于feature map选择的限制。FSAF的大体结构如下图Figure3:
当前对于检测器的anchor来说，存在着几个问题：1）密集采样 2）启发式选择。当前的有anchor的算法都是采用了特征金字塔的思想，说白了，就是将一张图中的所有物体全部离散化到不同特征金字塔上的anchor中，这些anchor的尺寸和长宽比都是人为定义好的。浅层的特征对于小的物体，深层的特征对于大的物体，这也是人为设定的，导致了一个物体对应的feature map的level只是依赖于人为的先验如下图Figure2，同样是车，有可能6060和5050分到不同的level，而4040和5050分到同一个level。显然不是很合理，效果也不是最优的。那么基于这个思想通过IoU得到的GT框显然也不是最优的。有可能一个anchor对应到n层的feature map才是最合适的，但是现在人为导致了分到了n+l层的feature map。这本来就是sub-optimal，那么之后的回归和分类再优秀，得到的结果也就不是最优的了。
Feature Selective Anchor-Free Module：
由上图可看到，有一个独立于anchor-based的anchor-free的分支连到了特征金字塔的每个level上，同样一个anchor-free的分支也包含两个部分：分类和回归。一个物体可以被分到任意level的anchor-free的分支上，在训练中，不仅仅基于物体的大小还会考虑物体的内容动态的选择最合适level的feature来预测这个物体； 接下来主要说明几个问题：
1）在网络中怎么设计anchor-free分支
2）怎么为anchor-free分支生成监督信号
3）怎么动态的为每个物体选择feature map的level
4）怎么联合的训练和测试anchor-free分支和anchor-based 分支
在网络中怎么设计anchor-free分支
可以看到在RetinaNet两个分支的头部分别各自增加了一个分支，在上面的分类分支上增加了一个3x3的卷积层，共有K个滤波器，所以生成了一个WxHxK的feature map，后面还有接一个sigmoid函数形成最后的概率。并行的回归分支也是同理，最终生成了一个WxHx4的feature map，后面接一个ReLU函数。
以FSAF和RetinaNet结合为例如图Figure4:
怎么为anchor-free分支生成监督信号 首先对于一个物体介绍几个概念：
其中白色的区域为有效区域，灰色的为忽略区域，黑色的为negative
分类：
1） 类别：k
2）坐标：b = [x, y, w, h], (x, y)是中心坐标
3）映射到特征金字塔第l层的框坐标：bpl = [xpl, ypl, wpl, hpl]
4）有效的框的坐标：bel = [xel, yel, wel, hel]，缩放因子为0.2
5）忽视的框的坐标： bil = [xil, yil, wil, hil]，缩放因子为0.5
如下图Figure5：
在分类的时候有个细节，如果两个物体的有效框在一个featuremap的level上重叠了，那么小的物体有优先级，这就保证了对于小物体检测的友好。另外，作者用了focal loss。 边框回归：
做边框回归的时候只在bel上进行。对于有效框中的每个像素点(i, j)，生成了一个4维张量，分别代表到bel上左下右边的距离。使用IoU loss。
怎么动态的为每个物体选择feature map的level
首先，一个物体会经过特征金字塔所有的特征层，由上图的公式计算两个loss，然后挑选出总loss最小的特征层作为该物体的特征层。
对比之前选择的特征层的公式：
FSAF是基于物体的内容而不是框的大小为其找到最优的一个feature level。首先对一个物体，定义两个loss函数如下列公式，上面的是分类loss，下面的是回归loss：
怎么联合的训练和测试anchor-free分支和anchor-based 分支
联合训练的时候比较简单，就把所有的分支的loss加起来就好了，两种分支的loss，作者取了权重0.5 。
实验结果
首先是Ablation Studies：
可以看出只用anchor-free branches+Heuristic feature，精度只下降了1个点；anchor-free branches+Online feature，精度对比提高了1个点，说明选择合适的feature map层很重要。最终的联合训练精度最高，因为两种分支互补。
主要是两个重要的部分： anchor-free branches, online feature selection
然后是不同backbone对结果的影响：
可以看出，随着backbone的复杂提出的特征越好，效果也是越好的；同时也说明了作者提出的模块是独立于backbone的。
最后给出对比可视化：
对比可以发现，FSAF模块对于之前网络的提升主要就是在小物体上的提升。