卷积网络发展历程

[ysh329]

• 【SqueezeNet、DeepCompression、XNORNet、Distilling、MobileNetV1、ShuffleNet】五种CNN模型的尺寸，计算量和参数数量对比详解-电子发烧友网
• 【LeNet、VGG、InceptionV1V2V3V4、Xception、Inception-ResNetV1V2、NASNet（AutoML）、WRN（WideResNet）、ResNeXt、DenseNet、MobileNetV1V2】回顾和总结卷积神经网络的发展过程-电子发烧友网
• 【LeNet、AlexNet、OverFeat、VGG、NIN、InceptionV1V2V3，ResNet，Xception】一文详解卷积神经网络的演变历程！

[ysh329]

• 【groupConv、3x3、Inception、Bottlleneck1x1、ResNet、DepthWise（Xception）、ShuffleNet、SEnet、DilatedConv、DeformableConv】变形卷积核、可分离卷积？卷积神经网络中十大拍案叫绝的操作。 - 知乎

[ysh329]

LeNet5

• 2个卷积，3个全连接

[ysh329]

AlexNet

• 5个卷积，3个全连接

[ysh329]

OverFeat

2013年12月，Yann LeCun的纽约大学实验室的 OverFeat。是AlexNet的衍生，提出了 learning bounding boxes。

[ysh329]

ZFNet

在AlexNet网络的基础上得到了效果更好的ZFNet网络。

该论文是在AlexNet基础上进行了一些细节的改动，网络结构上并没有太大的突破。该论文最大的贡献在于通过使用可视化技术揭示了神经网络各层到底在干什么，起到了什么作用。如果不知道神经网络为什么取得了如此好的效果，那么只能靠不停的实验来寻找更好的模型。使用一个多层的反卷积网络来可视化训练过程中特征的演化及发现潜在的问题；同时根据遮挡图像局部对分类结果的影响来探讨对分类任务而言到底那部分输入信息更重要。下图为典型反卷积网络示意图：

ZFNet网络结构如下图所示：

ZFNet在保留AlexNet的基本结构的同时利用反卷积网络可视化的技术对特定卷积层的卷积核尺寸进行了调整，第一层的卷积核从1111减小到77，将stride从4减小到2，Top5的错误率比AlexNet比降低了1.7%。

[ysh329]

VGG

VGG网络由著名的牛津大学视觉组（Visual Geometry Group）2014年提出[14]，并取得了ILSVRC 2014比赛分类任务的第2名（GoogleNet第一名）和定位任务的第1名。同时VGGNet的拓展性很强，迁移到其他图片数据上的泛化性非常好。VGGNet的结构非常简洁，整个网络都使用了同样大小的卷积核尺寸（3x3）和池化尺寸（2x2）。到目前为止，VGGNet依然经常被用来提取图像特征，被广泛应用于视觉领域的各类任务。

VGG网络的主要创新是采用了小尺寸的卷积核。所有卷积层都使用3x3卷积核，并且卷积的步长为1。为了保证卷积后的图像大小不变，对图像进行了填充，四周各填充1个像素。所有池化层都采用2x2的核，步长为2。全连接层有3层，分别包括4096，4096，1000个节点。除了最后一个全连接层之外，所有层都采用了ReLU激活函数。下图为VGG16结构图：

VGG与Alexnet相比，做了以下改进：

1.去掉了LRN层，作者实验中发现深度卷积网络中LRN的作用并不明显

2.采用更小的连续3x3卷积核来模拟更大尺寸的卷积核，例如2层连续的3x3卷积层可以达到一层5x5卷积层的感受野，但是所需的参数量会更少，两个3x3卷积核有18个参数（不考虑偏置项），而一个5x5卷积核有25个参数。后续的残差网络等都延续了这一特点。

[ysh329]

ResNet

残差网络(Residual Network)[15]用跨层连接（Shortcut Connections）拟合残差项（Residual Representations）的手段来解决深层网络难以训练的问题，将网络的层数推广到了前所未有的规模，作者在ImageNet数据集上使用了一个152层的残差网络，深度是VGG网络的8倍但复杂度却更低，在ImageNet测试集上达到3.57%的top-5错误率，这个结果赢得了ILSVRC2015分类任务的第一名，另外作者还在CIFAR-10数据集上对100层和1000层的残差网络进行了分析。VGG19网络和ResNet34-plain及ResNet34-redisual网络对比如下：

之前的经验已经证明，增加网络的层数会提高网络的性能，但增加到一定程度之后，随着层次的增加，神经网络的训练误差和测试误差会增大，这和过拟合还不一样，过拟合只是在测试集上的误差大，这个问题称为退化。

为了解决这个问题，作者设计了一种称为深度残差网络的结构，这种网络通过跳层连接和拟合残差来解决层次过多带来的问题，这种做法借鉴了高速公路网络（Highway Networks）的设计思想，与LSTM有异曲同工之妙。这一结构的原理如下图所示：

后面有文献对残差网络的机制进行了分析。得出了以下结论：残差网络并不是一个单一的超深网络，而是多个网络指数级的隐式集成，由此引入了多样性的概念，它用来描述隐式集成的网络的数量；在预测时，残差网络的行为类似于集成学习；对训练时的梯度流向进行了分析，发现隐式集成大多由一些相对浅层的网络组成，因此，残差网络并不能解决梯度消失问题。

为了进一步证明残差网络的这种集成特性，并确定删除掉一部分跨层结构对网络精度的影响，作者进行了删除层的实验，在这里有两组实验，第一组是删除单个层，第二组是同时删除多个层。为了进行比较，作者使用了残差网络和VGG网络。实验结果证明，除了个别的层之外，删掉单个层对残差网络的精度影响非常小。相比之下，删掉VGG网络的单个层会导致精度的急剧下降。这个结果验证了残差网络是多个网络的集成这一结论。

第三组实验是对网络的结构进行变动，集调整层的顺序。在实验中，作者打乱某些层的顺序，这样会影响一部分路径。具体做法是，随机的交换多对层的位置，这些层接受的输入和产生的输出数据尺寸相同。同样的，随着调整的层的数量增加，错误率也平滑的上升，这和第二组实验的结果一致。

但是笔者认为作者的这种解释有些牵强。普通意义上的集成学习算法，其各个弱学习器之间是相互独立的，而这里的各个网络之间共享了一些层，极端情况下，除了一层不同之外，另外的层都相同。另外，这些网络是同时训练出来的，而且使用了相同的样本。

[ysh329]

GoogleNet-Inception-Like

Inception-V2（GoogleNet-BN）

作者基于GoogleNet的基本结构进行了改进，Top1错误率相较减少了2个百分点，主要做了以下的改进：

1.加入了BN层，减少了Internal Covariate Shift（内部neuron的数据分布发生变化），使每一层的输出都规范化到一个N(0, 1)的高斯。

2.学习VGG用2个3x3的conv替代Inception模块中的5x5，既降低了参数数量，也加快了计算速度。

Inception-V3

Inception-V3一个最重要的改进是卷积核分解（Factorization），将7x7的卷积核分解成两个一维的卷积（1x7,7x1），3x3也是一样（1x3,3x1），我们称为非对称分解，如下图所示。这样做既可以加速计算减少参数规模，又可以将1个卷积拆成2个卷积，使得网络深度进一步增加，增加了网络的非线性。

除此以外作者对这个训练优化的算法也做了改进：

1. 通过改进AdaGrad提出了RMSProp一种新的参数优化的方式。RMSprop是Geoff Hinton提出的一种自适应学习率方法。AdaGrad会累加之前所有的梯度平方，而RMSprop仅仅是计算对应的平均值，因此可缓解AdaGrad算法学习率下降较快的问题。 实验证明RMSProp在非凸条件下优化结果更好。

AdaGrad的迭代公式为：

RMSProp的迭代公式为：

2. 采用了Label Smoothing的策略，该方法是一种通过在输出标签中添加噪声，实现对模型进行约束，降低模型过拟合程度的一种正则化方法。

Inception-V4

Inception-v4相较于v3版本增加了Inception模块的数量，整个网络变得更深了。

[ysh329]

Xception

Xception是Google针对Inception v3的另一种改进，主要是采用Depthwise Separable Convolution来替换原来Inception v3中的卷积操作, 在基本不增加网络复杂度的前提下提高了模型的效果。什么是Depthwise Separable Convolution？ 通常，在一组特征图上进行卷积需要三维的卷积核，也即卷积核需要同时学习空间上的相关性和通道间的相关性。Xception通过在卷基层加入group的策略将学习空间相关性和学习通道间相关性的任务分离，大幅降低了模型的理论计算量且损失较少的准确度。

Xception网络结构如下图所示：

[ysh329]

Inception-ResNet v1/v2

作者基于Inception-v3和Inception-v4将残差网络的思想进行融合，分别得到了Inception-ResNet-v1和Inception-ResNet-v2两个模型。不仅提高了分类精度而且训练的稳定性也得到增强。

Inception-ResNet-v2 网络结构如下图所示：