Detection

[YujunXie]

检测任务：回归+分类

• 传统的目标检测方法：一般使用滑动窗口的框架，主要包括三个步骤：

  1. 利用不同尺寸的滑动窗口框住图中的某一部分作为候选区域；（DPM）
  2. 提取候选区域相关的视觉特征。比如人脸检测常用的Harr特征；行人检测和普通目标检测常用的HOG特征等；
  3. 利用分类器进行识别，比如常用的SVM模型。

• 基于深度学习的目标检测器：R-CNN -> OverFeat -> Fast R-CNN -> RPN -> Faster R-CNN -> R-FCN -> YOLO -> SSD -> FPN -> RetinaNet -> Mask R-CNN。 可以分为两类：one-stage和two-stage两种，two-stage比one-stage多一步用于目标候选框的生成。

• 评价指标

  1. mAP: 取各个类别的AP的平均值。AP基于precision-recall曲线计算，PR曲线为以 precision 和 recall 作为纵、横轴坐标的二维曲线。通过选取不同阈值时对应的精度和召回率画出。总体趋势，精度越高，召回越低。PR曲线围起来的面积就是AP值，通常来说一个越好的分类器，AP值越高。 对于目标检测，mAP一般在某个固定的IoU上计算，不同的IoU值会改变TP和FP的比例，从而造成mAP的差异。
  2. FPS：帧/秒

• 数据集

  1. Pascal VOC(The PASCAL Visual Object Classification)：是目标检测，分类，分割等领域一个有名的数据集。从2005到2012年，共举办了8个不同的挑战赛。包含约10,000张带有边界框的图片用于训练和验证。但是，PASCAL VOC数据集仅包含20个类别，因此其被看成目标检测问题的一个基准数据集。
  2. MS COCO(Common Objects in Context)：用于多种竞赛：图像标题生成，目标检测，关键点检测和物体分割。对于目标检测任务，COCO共包含80个类别，每年大赛的训练和验证数据集包含超过120,000个图片，超过40,000个测试图片。测试集最近被划分为两类，一类是test-dev数据集用于研究者，一类是test-challenge数据集用于竞赛者。测试集的标签数据没有公开，以避免在测试集上过拟合。

• 热门的子问题

  • 特征表示
  • proposal 生成
  • 上下文信息建模
  • 训练策略（类别不平衡问题等）
  • 评估问题

[YujunXie]

2014

• OverFeat：《OverFeat: Integrated Recognition, Localization and Detection using Convolutional Networks》

  contribution：多尺度滑动窗口

  缺点：速度慢，效果差。

• RCNN：《Rich feature hierarchies for accurate object detection and semantic segmentation》

  contribution：

  1. 提出选择性搜索selective search代替滑动窗口(穷举)提取候选框。

  2. 区域大小归一化：把所有侯选框缩放成固定大小（原文采用227×227）；

  3. 特征提取：通过CNN网络，提取特征；

  4. 分类与回归：在特征层的基础上添加两个全连接层，再用SVM分类来做识别，用线性回归来微调边框位置与大小，其中每个类别单独训练一个边框回归器。

  缺点：重复计算，SVM分类，训练测试分为多步，训练的空间和时间代价很高，慢。但效果比OverFeat好。

  

• SPPNet：《Spatial Pyramid Pooling in Deep Convolutional Networks for Visual Recognition》

  contribution：

  1. 提出卷积特征上的空间金字塔池化层代替原始图像上的crop/wrap操作，将维度不一致的卷积特征转换为维度一致的全连接输入。使得输入的候选框可大可小。

  缺点：大多同R-CNN。

  

  作者是先对整张图片进行卷积然后，在把其中的目标窗口拿出来Pooling，得到的结果用作全连接层的输入。

[YujunXie]

2015

• Fast R-CNN：《Fast R-CNN》

  contribution：

  1. 提出RoI Pooling层：简化的SPP。极大的提高了处理速度。
  2. 训练和测试是不再分多步：不再需要额外的硬盘来存储中间层的特征，梯度能够通过RoI Pooling层直接传播；此外，分类和回归用Multi-task的方式一起进行。
  3. SVD：使用SVD分解全连接层的参数矩阵，压缩为两个规模小很多的全连接层。

  主要步骤：

  1. 特征提取：以整张图片为输入利用CNN得到图片的特征；
  2. 区域提名：通过Selective Search等方法从原始图片提取区域候选框，并把这些候选框一一投影到最后的特征层；
  3. 区域归一化：针对特征层上的每个区域候选框进行RoI Pooling操作，得到固定大小的特征表示；
  4. 分类与回归：然后再通过两个全连接层，分别用softmax多分类做目标识别，用回归模型进行边框位置与大小微调。

  速度更快。

  

  ROI Pooling：1）根据输入image，将ROI映射到feature map对应位置；2）将映射后的区域划分为相同大小的sections（sections数量与输出的维度相同）；3）对每个sections进行max pooling操作；

  这样就可以从不同大小的候选框得到固定大小的相应的feature maps。

• Faster R-CNN, RPN：《Faster R-CNN: Towards Real-Time Object Detection with Region Proposal Networks》

  contribution：

  1. 使用RPN（Region Proposal Networks)网络来计算候选框。RPN以一张任意大小的图片为输入，输出一批矩形区域提名，每个区域对应一个目标分数和位置信息。

  主要步骤：

  1. 特征提取：同Fast R-CNN，以整张图片为输入，利用CNN得到图片的特征层；
  2. 区域提名：在最终的卷积特征层上对每个像素点使用k个不同的矩形框（Anchor Box）进行提名，k一般取9（3种长宽比，3种尺度）；
  3. 分类与回归：对每个Anchor Box对应的区域进行object/non-object二分类，并用k个回归模型（各自对应不同的Anchor Box）微调候选框位置与大小，最后进行目标分类。

  Faster R-CNN抛弃了Selective Search，引入了RPN网络，使得区域提名、分类、回归一起共用卷积特征，从而得到了进一步的加速。但是，Faster R-CNN需要对两万个Anchor Box先判断是否是目标，然后再进行目标识别，分成了两步。

[YujunXie]

2016

• YOLO v1：《You Only Look Once: Unified, Real-Time Object Detection》

  contribution：简化整个目标检测流程，大大提升检测速度。

  主要步骤：

  1. 输入图片缩放到448×448大小；
  2. 运行卷积网络；
  3. 对模型置信度卡阈值NMS，得到目标位置与类别；
  

  将图像分成sxs的网格，目标中心点所在的格子负责该目标的相关检测。每个网格预测B个边框及其置信度，以及C种类别的概率。总的预测值为 S × S × (B * 5 + C) 个。YOLO中S=7，B=2，C 取决于数据集中物体类别数量，比如VOC数据集就是 C=20。

  优点：

  1. 检测物体非常快。
  2. 可以很好的避免背景错误，产生 false positives。因为能看到一整张图像，能很好的利用上下文信息。
  3. 可以学到物体的泛化特征。

  缺点：

  1. 网格的固定大小限制：两个小目标同时落入一个格子中，模型也只能预测一个；
  2. 召回率低，不够精确。
  3. 物体检测精度低于其他 state-of-the-art 的物体检测系统。
  4. 容易产生物体的定位错误。

  tricks：Pretraining on Imagenet；SGD with decreasing learning rate；Extensive data augmentation；

• SSD：《SSD: Single Shot MultiBox Detector 》

  contribution：借鉴了Faster R-CNN中的Anchor机制，同时使用了多尺度。保持YOLO高速的同时提升了效果。

  

  图(a)表示带有两个Ground Truth边框的输入图片，图(b)和(c)分别表示8×8网格和4×4网格，显然前者适合检测小的目标，比如图片中的猫，后者适合检测大的目标，比如图片中的狗。在每个格子上有一系列固定大小的Box（有点类似前面提到的Anchor Box），这些在SSD称为Default Box，用来框定目标物体的位置，在训练的时候Ground Truth会赋予给某个固定的Box，比如图(b)中的蓝框和图(c)中的红框。

  SSD的网络分为两部分，前面的是用于图像分类的标准网络（去掉了分类相关的层），后面的网络是用于检测的多尺度特征映射层，从而达到检测不同大小的目标。

• R-FCN：《R-FCN: Object Detection via Region-based Fully Convolutional Networks 》

  全连接层的作用：实现融合特征和特征映射。当去掉全连接层时，目标检测的效果会很差。矛盾在于：

  • 图像分类：要求图像具有平移不变性（translation invariance）；
  • 目标检测：要求图像具有位置敏感性（translation variance）；

  contribution：

  1. 将最后的全连接层换为位置敏感ROI池化层（position-sensitive RoI pooling layer），从而让所有计算都可以共享。

  

  具体操作：将每一个ROI划分成k×k个格，池化输出每个格的位置得分（即 k^2(C+1) 通道大小的输出，其中C 为类别数，+1为背景），k^2个得分图通过投票（eg.求均值）后得到ROI上 C+1 维的输出向量。后接一个softmax层得到每一类的最终得分，并在训练时计算损失。

  损失函数：分类部分为交叉熵损失，回归部分为平滑L1损失，总的损失为这两部分的和。

• OHEM：《Training Region-based Object Detectors with Online Hard Example Mining》

  contribution：

  1. hard negative mining：每次迭代在较少训练样本下提升效果。具体选取损失最大（NMS后）的前k个候选区域进行梯度的反向传播。

  针对Fast-RCNN框架，在每次minibatch（1张或者2张）训练时加入在线筛选hard region的策略。

  这是一次ML经典算法bootstrapping在DL中的完美“嵌入。

参考文献：https://www.cnblogs.com/gujianhan/p/6035514.html

[YujunXie]

2017

• FPN：《Feature Pyramid Networks for Object Detection》

  contribution：使用CNN网络中每一层的信息来生成最后的表达特征组合。每层都是独立预测。自下至上的不同维度特征生成；自上至下的特征补充增强（将上层feature map等比例放大后再与本层的feature maps做element wise相加）；CNN层特征与每一级别输出之间的表达关联（1x1conv）；

  

• YOLO v2：《YOLO9000: Better, Faster, Stronger》

  为了改进YOLO v1 定位不够准确，召回率较低的缺点。作了以下改进：

  contribution：

  1. Batch Normalization：在每个卷积层后加BN，起到一定的正则化效果，能提升模型收敛速度，防止模型过拟合。YOLOv2 通过使用 BN 层使得 mAP 提高了 2%。

  2. High Resolution Classifier：主流的分类网络大部分都是以小于 256x256 的图片作为输入进行训练的，低分辨率会影响模型检测能力。因此YOLOv2 将输入图片的分辨率提升至 448x448，为了使网络适应新的分辨率，YOLOv2 先在 ImageNet 上以 448x448 的分辨率对网络进行 10 个 epoch 的微调，让网络适应高分辨率的输入。YOLOv2 的 mAP 提升了约 4%。

  3. 使用 anchor box 进行卷积：YOLOv2 通过缩减网络，使用 416x416 的输入，使得网络输出的特征图有奇数大小的宽和高，进而使得每个特征图在划分单元格（Cell）的时候只有一个中心单元格（Center Cell）。模型下采样的总步长为 32，最后得到 13x13 的特征图，然后对 13x13 的特征图的每个 cell 预测 5 个 anchor boxes，对每个 anchor box 预测边界框的偏移值、置信度和分类概率。使用 anchor boxes 之后，YOLOv2 可以预测 13x13x5=845 个边界框，模型的召回率由原来的 81% 提升到 88%，mAP 由原来的 69.5% 降低到 69.2%. 召回率提升了 7%，准确率下降了 0.3%。总预测值为13*13*5（5+20）

  4. 使用Darknet-19：减少计算量。

  5. 维度集群：YOLOv2 采用 k-means 聚类算法对训练集中的边界框做了聚类分析，选用 boxes 之间的 IOU 值作为聚类指标。综合考虑模型复杂度和召回率，最终选择 5 个聚类中心，得到 5 个先验框，发现其中中扁长的框较少，而瘦高的框更多，更符合行人特征。通过对比实验，发现用聚类分析得到的先验框比手动选择的先验框有更高的平均 IOU 值，这使得模型更容易训练学习。

  6. Direct location prediction：

     

     直接对Bounding Boxes求回归会导致模型不稳定，其中心点可能会出现在图像任何位置，有可能导致回归过程震荡，甚至无法收敛，尤其是在最开始的几次迭代的时候。

     YOLOv2借鉴了如下的预测方式，即当Anchor Box的中心坐标和宽高分别是（xa,ya）和（wa,wh）时，Bounding Box坐标的预测偏移值（tx,ty,tw,th）与其坐标宽高（x,y,w,h）的关系如下：

     

     黑色虚线框是Anchor Box，蓝色矩形框就是预测的Bounding Box结果，预测出的Bounding Box的坐标和宽高为（bx,by）和（bw,bh），计算方式如图中所示，其中：对每个Bounding Box预测出5个值（tx,ty,tw,th,t0），Cell与图像左上角的横纵坐标距离为（cx,cy），σ定义为sigmoid激活函数（将函数值约束到［0,1］），该Cell对应的Anchor Box对应的宽高为（pw,ph）。

     简而言之，（bx,by）就是（cx,cy）这个Cell附近的Anchor Box针对预测值（tx,ty）得到的Bounding Box的坐标预测结果，同时可以发现这种方式对于较远距离的Bounding Box预测值（tx,ty）能够得到很大的限制。

  7. Fine-Grained Features：提出 pass through 层将高分辨率的浅层特征图与低分辨率的深层特征图联系在一起（把特征堆积在不同Channel中），从而实现多尺度检测。

  8. Multi-Scale Training：用多尺度输入的方式训练，在训练过程中每隔 10 个 batches , 重新随机选择输入图片的尺寸，由于 Darknet-19 下采样总步长为 32，输入图片的尺寸一般选择 32 的倍数 {320,352,…,608}。采用 Multi-Scale Training, 可以适应不同大小的图片输入， 当采用低分辨率的图片输入时，mAP 值略有下降，但速度更快，当采用高分辨率的图片输入时，能得到较高 mAP 值，但速度有所下降。

  缺点：无法解决重叠问题的分类。

• YOLO v3：《YOLOv3: An Incremental Improvement》

  contribution：

  1. DarkNet-53
  2. 融合FPN：借鉴了 FPN 的思想，从不同尺度提取特征。提取最后 3 层特征图，不仅在每个特征图上分别独立做预测，同时通过将小特征图上采样到与大的特征图相同大小，然后与大的特征图拼接做进一步预测。用维度聚类的思想聚类出 9 种尺度的 anchor box，将 9 种尺度的 anchor box 均匀的分配给 3 种尺度的特征图。
  3. 用逻辑回归替代 softmax 作为分类器：实现把单标签分类改成多标签分类。用多个 logistic 分类器代替 softmax 并不会降低准确率，可以维持 YOLO 的检测精度不下降。

• RetinaNet：《Focal Loss for Dense Object Detection》

  contribution：

  1. Focal Loss：解决one-stage检测算法中由于类别不平衡问题导致的精度缺失。

  具体操作：将训练回归任务用的交叉熵损失替换为focal loss。

  

  多出的一项为权重，该权重的作用：量大的类别所贡献的loss被大幅砍削，量少的类别所贡献的loss几乎没有多少降低。虽然整体的loss总量减少了，但是训练过程中量少的类别拥有了更大的话语权，更加被model所关心了。最后$\alpha=0.25, \gamma = 2 $ 结果最好。

  detector部分是两条平行pipeline，且设计相同 (除了尾部的output不一样) 但 参数不共享。

• Mask R-CNN：《Mask R-CNN》

  contribution：

  1. 多任务问题：在Faster R-CNN基础上，在原本的两个分支上（分类+回归）增加了一个分支输出每个ROI的Mask进行实例分割（这里是区别于传统方法的最大的不同，传统方法一般是先利用算法生成mask然后再进行分类，这里平行进行）。
  2. ROI Align：代替Faster RCNN中的RoI Pooling。RoIPooling使用取整量化，导致特征图RoI映射回原图RoI时空间不对齐明显，造成误差；RolAlign不使用取整量化而是采用双线性插值，完成像素级的对齐；
  

• Soft-NMS：《Improving Object Detection With One Line of Code》

  contribution：

  1. 改进NMS算法：NMS直接将和得分最大的box的IOU大于某个阈值的box的得分置零。提出softNMS对得分进行衰减处理：

  线性加权：

  

  高斯加权：

  

  M为当前得分最高框，$b_i$为待处理框，$b_i$和M的IOU越大， $b_i$的得分$s_i$就下降的越厉害。

  但置信度阈值仍为手工设置。