Chp.6 Deep Learning

[hysic]

卷积神经网络（CNN）

• 现代的CNN最早由由Yann LeCun等人在1998年发表的论文提出。
• 三个基本概念
  • 局部感受野（Local receptive fields）：感受野（feature map, e.g.5 * 5）步长（stride length），一个卷积层一般有多个feature maps
  • 共享权重和偏差（shared weights and bias):比如5*5的感受野，共享25个权重和1个偏差，构成了一个filter或kernel ，探测某一种特定的feature；共享权重和偏差可以大大减少参数个数，还可以满足平移不变性（translation invariance）
  • 池化（pooling）：降维（e.g. 2*2个神经元 -> 1个神经元）；max-pooling/L2-pooling；

[hysic]

CNN 实践

• rectified linear units(ReLU)
  • 另一种激活函数（activation function），f(z)≡max(0,z)
  • 比sigmoid性能更好
  • 理由：在z较大时不会发生饱和，但目前尚没有比较详细的解释。
• 扩展训练数据集
• 再插入一个全连接层，并加入dropout正则化（dropout仅用于全连接层，不必用于卷积层，因为卷积层的共享权重本身就带有一些正则化）
• 神经网络的集成（ensemble）

[hysic]

图像识别（image recognition）经典论文

• 2012 LRMD paper, ImageNet -> 15.8%
• 2012 KSH paper, aka AlexNet, ImageNet Large-Scale Visual Recognition Challenge (ILSVRC) -> top-5 84.7%, top-1 63.3%
• 2014 ILSVRC competition, aka GoogLeNet

其他图像识别项目

• ImageNet
• google用深度CNN识别谷歌街景中的门牌号
• 为正确分类的图片叠加一个adversarial image，图片将无法正确分类，而肉眼却几乎看不出差别
• 与之相对，一些肉眼看起来完全是噪声的图片，神经网络却可以以很好的置信度将其划归某个标签

[hysic]

其他深度神经网络

• 递归神经网络（Recurrent neural networks, RNNs）
• 长短期记忆网络（Long short-term memory, LSTM）
• 深度置信网络（Deep belief nets, DBN）,生成模型（generative models）,玻尔兹曼机（Boltzmann machines）

[hysic]

神经网络的未来

• Intention-driven user interfaces：例如谷歌搜索的自动纠错，siri
• Machine learning, data science, and the virtuous circle of innovation: find the "known unknowns" hidden in data