经典论文1-Alexnet，vgg

MiaoRain commented 4 years ago

FCN end to end. 多个层次的特征提取器和识别器的统一训练和预测。好处-通过缩短人工的预处理和后处理，尽可能的提升model自身根据数据调节的空间，增加model的整体契合度，而不需要人工的干预。

MiaoRain commented 4 years ago

注意力机制 https://blog.csdn.net/xys430381_1/article/details/89323444

MiaoRain commented 4 years ago

AlexNet dropout相当于机器学习中的模型ensemble

Dropout对深度学习的影响 https://zhuanlan.zhihu.com/p/96536112

Local Response Normalization 对卷积输出层(即特征图)中, 部分像素点，在与其相邻特征层进行归一化处理。就是在特征图中不同层的pixel进行跨层的归一化处理，（pixel - mean value）/ 方差

MiaoRain commented 4 years ago

VGG 不像alexnet 每个卷积段(以maxpooling分开)其实包括三个卷积操作 https://blog.csdn.net/wcy12341189/article/details/56281618 ILSVRC 2014的第二名是Karen Simonyan和 Andrew Zisserman实现的卷积神经网络，现在称其为VGGNet。它主要的贡献是展示出网络的深度是算法优良性能的关键部分。

VGG是在从Alex-net发展而来的网络。主要修改一下两个方面： 1，在第一个卷基层层使用更小的filter尺寸和间隔（3*3）； 2，在整个图片和multi-scale上训练和测试图片。

几个小滤波器卷积层的组合比一个大滤波器卷积层好： 假设你一层一层地重叠了3个3x3的卷积层（层与层之间有非线性激活函数）。在这个排列下，第一个卷积层中的每个神经元都对输入数据体有一个3x3的视野。第二个卷积层上的神经元对第一个卷积层有一个3x3的视野，也就是对输入数据体有5x5的视野。同样，在第三个卷积层上的神经元对第二个卷积层有3x3的视野，

首先，多个卷积层与非线性的激活层交替的结构，比单一卷积层的结构更能提取出深层的更好的特征。其次，假设所有的数据有C个通道，那么单独的7x7卷积层将会包含 77C=49C2个参数，而3个3x3的卷积层的组合仅有个3（33C）=27C2个参数。直观说来，最好选择带有小滤波器的卷积层组合，而不是用一个带有大的滤波器的卷积层。前者可以表达出输入数据中更多个强力特征，使用的参数也更少。唯一的不足是，在进行反向传播时，中间的卷积层可能会导致占用更多的内存。 11 filter: 作用是在不影响输入输出维数的情况下，对输入线进行线性形变，然后通过Relu进行非线性处理，增加网络的非线性表达能力。 Pooling：2*2，间隔s=2。

虽然VGG比Alex-net有更多的参数，更深的层次；但是VGG只需要很少的迭代次数就开始收敛，原因： 1：深度和小的滤波器尺寸起到了隐士规则化作用。 2：一些层的pre-initialisation pre-initialisation：网络A的权值W~（0,0.01）的高斯分布，bias为0；由于存在大量的ReLU函数，不好的权值初始值对于网络训练影响较大。为了绕开这个问题，作者现在通过随机的方式训练最浅的网络A；然后在训练其他网络时，把A的前4个卷基层（感觉是每个阶段的以第一卷积层）和最后全连接层的权值当做其他网络的初始值，未赋值的中间层通过随机初始化。 ———————————————— 版权声明：本文为CSDN博主「北燕南飞1189」的原创文章，遵循CC 4.0 BY-SA版权协议，转载请附上原文出处链接及本声明。原文链接：https://blog.csdn.net/wcy12341189/article/details/56281618

VGG优缺点 VGG优点

VGGNet的结构非常简洁，整个网络都使用了同样大小的卷积核尺寸（3x3）和最大池化尺寸（2x2）。几个小滤波器（3x3）卷积层的组合比一个大滤波器（5x5或7x7）卷积层好：验证了通过不断加深网络结构可以提升性能。

VGG缺点

VGG耗费更多计算资源，并且使用了更多的参数（这里不是3x3卷积的锅），导致更多的内存占用（140M）。其中绝大多数的参数都是来自于第一个全连接层。VGG可是有3个全连接层啊！ PS：有的文章称：发现这些全连接层即使被去除，对于性能也没有什么影响，这样就显著降低了参数数量。