Autoencoders(自编码器)

这个模型用于压缩数据、图像去噪。（这些功能是从数据本身中学习得到的，而不是人为设定的。）

一开始是获取input data，然后中间有一个narrow layer来展示compressed data.

一般思路：

1.将你的输入数据传递给编码器，以获取输入数据的压缩表示。

2.然后将该表示传递给解码器（decoder），以获得重建后的数据。

3.编码器和解码器都是用神经网络进行搭建的。

整个网络的训练过程就是最小化输入和输出之间的差距。中间层将以输入数据的压缩形式表示。

Simple Autoencoder

一个Autoencoder就是我们传入数据（比如说images），然后把它压缩成为一个更小的size。

比如说我们要将数据传送给用户，然后我们给它们的是一个compressed的包，然后用户那里面有decoder，所以它们可以解压这个包，然后获取到data。

具体的代码可以参考deep-learning这个包里面的autoencoder的jupyter notebook中的代码。

Transfer Learning in Tensorflow

Transfer Learning with VGGNet

大多数时候我们不可能去训练整个的卷积神经网络我们自己，所以这个时候我们就可以使用别人训练好的网络（VGGNet / AlexNet）
我们使用预先训练好的网络作为一个固定的特征提取器 / 或者作为一个初始网络去微调。
所以这里我们将使用迁移学习，然后对新的数据集进行图像分类。
代码见deep-learning的transfer-learning的notebook。
在这个notebook中, you'll be using VGGNet trained on the ImageNet dataset as a feature extractor.
下面是VGGNet的结构图：
VGGNet很棒而且有很好的表现，出结果也很快。
The idea here is that we keep all the convolutional layers, but replace the final fully connected layers with our own classifier.
这样我们就可以使用VGGNet作为我们图片的特征提取器；然后我们就可以在这之上训练一个简单的分类器。

What we'll do is take the first fully connected layer with 4096 units, including thresholding with ReLUs. We can use those values as a code for each image, then build a classifier on top of those codes.