keras mnist analysis

[junxnone]

--> #8

https://github.com/keras-team/keras/tree/master/examples

TO-DO

• [x] mnist_cnn.py
• [x] mnist_mlp.py
• [ ] mnist_hierarchical_rnn.py
• [ ] mnist_acgan.py
• [ ] mnist_dataset_api.py
• [ ] mnist_denoising_autoencoder.py
• [ ] mnist_irnn.py
• [ ] mnist_net2net.py
• [ ] mnist_siamese.py
• [ ] mnist_sklearn_wrapper.py
• [ ] mnist_swwae.py
• [ ] mnist_tfrecord.py
• [ ] mnist_transfer_cnn.py
• [ ] tensorboard_embeddings_mnist.py
• [ ] vae_mlp_mnist.h5

Index

• [ ] Colab: mnist diff

[junxnone]

mnist_cnn.py

Trains a simple convnet on the MNIST dataset.

• load img data
• reshape the data (img_size, img_rows, img_cols, channel)
• build model
  • Conv2D - 32 - 3x3 - relu
  • Conv2D - 64 - 3x3 - relu
  • MaxPooling2D - 2x2
  • Dropout - 0.25
  • Flatten
  • Dense - 128 - relu
  • Dropout - 0.5
  • Dense softmax
• comile model
  • loss - keras.losses.categorical_crossentropy
  • optimizer - keras.optimizers.Adadelta()
  • metrics - accuracy
• fit data
• evaluate

[junxnone]

mnist_mlp.py

Trains a simple deep multi-layer perceptron on the MNIST dataset.

• load img data
• reshape the data （img_size, img_pixels）
• build model
  • Dense - 512 - relu
  • Dropout - 0.2
  • Dense - 512 - relu
  • Dropout - 0.2
  • Dense - softmax
• comile model
  • loss - categorical_crossentropy
  • optimizer - RMSprop()
  • metrics - accuracy
• fit data
• evaluate

[junxnone]

mnist_hierarchical_rnn.py

Trains a Hierarchical RNN (HRNN) to classify MNIST digits.

• load img data
• build model
  • Input
  • LSTM - 128
  • LSTM - 128
  • Dense - softmax
• comile model
  • loss - categorical_crossentropy
  • optimizer - rmsprop
  • metrics - accuracy
• fit data
• evaluate

Layers

Input Layer

Input() 用于实例化 Keras 张量。 Keras 张量是底层后端(Theano, TensorFlow or CNTK) 的张量对象，我们增加了一些特性，使得能够通过了解模型的输入 和输出来构建Keras模型。

input_layer.py

Input(shape=None, batch_shape=None,
          name=None, dtype=None, sparse=False,
          tensor=None):

• shape: 一个尺寸元组（整数），不包含批量大小。A shape tuple (integer), not including the batch size. 例如，shape=(32,) 表明期望的输入是按批次的 32 维向量。
• batch_shape: 一个尺寸元组（整数），包含批量大小。 例如，batch_shape=(10, 32) 表明期望的输入是 10 个 32 维向量。 batch_shape=(None, 32) 表明任意批次大小的 32 维向量。
• name: 一个可选的层的名称的字符串。 在一个模型中应该是唯一的（不可以重用一个名字两次）。 如未提供，将自动生成。
• dtype: 输入所期望的数据类型，字符串表示 (float32, float64, int32...)
• sparse: 一个布尔值，指明需要创建的占位符是否是稀疏的。
• tensor: 可选的可封装到 Input 层的现有张量。 如果设定了，那么这个层将不会创建占位符张量。

LSTM

长短期记忆网络层 - Hochreiter 1997. recurrent.py

keras.layers.LSTM(units, activation='tanh', recurrent_activation='hard_sigmoid', use_bias=True, kernel_initializer='glorot_uniform', recurrent_initializer='orthogonal', bias_initializer='zeros', unit_forget_bias=True, kernel_regularizer=None, recurrent_regularizer=None, bias_regularizer=None, activity_regularizer=None, kernel_constraint=None, recurrent_constraint=None, bias_constraint=None, dropout=0.0, recurrent_dropout=0.0, implementation=1, return_sequences=False, return_state=False, go_backwards=False, stateful=False, unroll=False)

• units: 正整数，输出空间的维度。
• activation: 要使用的激活函数 (详见 activations)。 如果传入 None，则不使用激活函数 (即 线性激活：a(x) = x)。
• recurrent_activation: 用于循环时间步的激活函数 (详见 activations)。
• use_bias: 布尔值，该层是否使用偏置向量。
• kernel_initializer: kernel 权值矩阵的初始化器， 用于输入的线性转换 (详见 initializers)。
• recurrent_initializer: recurrent_kernel 权值矩阵 的初始化器，用于循环层状态的线性转换 (详见 initializers)。
• bias_initializer:偏置向量的初始化器 (详见initializers).
• unit_forget_bias: 布尔值。 如果为 True，初始化时，将忘记门的偏置加 1。 将其设置为 True 同时还会强制 bias_initializer="zeros"。 这个建议来自 Jozefowicz et al.。
• kernel_regularizer: 运用到 kernel 权值矩阵的正则化函数 (详见 regularizer)。
• recurrent_regularizer: 运用到 recurrent_kernel 权值矩阵的正则化函数 (详见 regularizer)。
• bias_regularizer: 运用到偏置向量的正则化函数 (详见 regularizer)。
• activity_regularizer: 运用到层输出（它的激活值）的正则化函数 (详见 regularizer)。
• kernel_constraint: 运用到 kernel 权值矩阵的约束函数 (详见 constraints)。
• recurrent_constraint: 运用到 recurrent_kernel 权值矩阵的约束函数 (详见 constraints)。
• bias_constraint: 运用到偏置向量的约束函数 (详见 constraints)。
• dropout: 在 0 和 1 之间的浮点数。 单元的丢弃比例，用于输入的线性转换。
• recurrent_dropout: 在 0 和 1 之间的浮点数。 单元的丢弃比例，用于循环层状态的线性转换。
• implementation: 实现模式，1 或 2。 模式 1 将把它的操作结构化为更多的小的点积和加法操作， 而模式 2 将把它们分批到更少，更大的操作中。 这些模式在不同的硬件和不同的应用中具有不同的性能配置文件。
• return_sequences: 布尔值。是返回输出序列中的最后一个输出，还是全部序列。
• return_state: 布尔值。除了输出之外是否返回最后一个状态。
• go_backwards: 布尔值 (默认 False)。 如果为 True，则向后处理输入序列并返回相反的序列。
• stateful: 布尔值 (默认 False)。 如果为 True，则批次中索引 i 处的每个样品的最后状态 将用作下一批次中索引 i 样品的初始状态。
• unroll: 布尔值 (默认 False)。 如果为 True，则网络将展开，否则将使用符号循环。 展开可以加速 RNN，但它往往会占用更多的内存。 展开只适用于短序列。

https://blog.csdn.net/jiangpeng59/article/details/77646186 http://deeplearning.net/tutorial/lstm.html

TimeDistributed

这个封装器将一个层应用于输入的每个时间片。 输入至少为 3D，且第一个维度应该是时间所表示的维度。

wrappers.py

keras.layers.TimeDistributed(layer)

https://blog.csdn.net/oQiCheng1234567/article/details/73051251

Dense

就是普通的全连接层。 Dense 实现以下操作： output = activation(dot(input, kernel) + bias) 其中 activation 是按逐个元素计算的激活函数，kernel 是由网络层创建的权值矩阵，以及 bias 是其创建的偏置向量 (只在 use_bias 为 True 时才有用)。

keras.layers.Dense(units, activation=None, use_bias=True, kernel_initializer='glorot_uniform', bias_initializer='zeros', kernel_regularizer=None, bias_regularizer=None, activity_regularizer=None, kernel_constraint=None, bias_constraint=None)

• units: 正整数，输出空间维度。
• activation: 激活函数 (详见 activations)。 若不指定，则不使用激活函数 (即， “线性”激活: a(x) = x)。
• use_bias: 布尔值，该层是否使用偏置向量。
• kernel_initializer: kernel 权值矩阵的初始化器 (详见 initializers)。
• bias_initializer: 偏置向量的初始化器 (see initializers).
• kernel_regularizer: 运用到 kernel 权值矩阵的正则化函数 (详见 regularizer)。
• bias_regularizer: 运用到偏置向的的正则化函数 (详见 regularizer)。
• activity_regularizer: 运用到层的输出的正则化函数 (它的 "activation")。 (详见 regularizer)。
• kernel_constraint: 运用到 kernel 权值矩阵的约束函数 (详见 constraints)。
• bias_constraint: 运用到偏置向量的约束函数 (详见 constraints)。

Reference

• [ ] A Hierarchical Neural Autoencoder for Paragraphs and Documents Encodes paragraphs and documents with HRNN. Results have shown that HRNN outperforms standard RNNs and may play some role in more sophisticated generation tasks like summarization or question answering.
• [ ] Hierarchical recurrent neural network for skeleton based action recognition Achieved state-of-the-art results on skeleton based action recognition with 3 levels of bidirectional HRNN combined with fully connected layers.

[junxnone]

mnist_acgan.py

Train an Auxiliary Classifier Generative Adversarial Network (ACGAN) on the MNIST dataset.

Reference

• [ ] Conditional Image Synthesis With Auxiliary Classifier GANs

[junxnone]

mnist_siamese.py

Trains a Siamese MLP on pairs of digits from the MNIST dataset.

References

• [ ] Dimensionality Reduction by Learning an Invariant Mapping

[junxnone]

mnist_dataset_api

MNIST classification with TensorFlow's Dataset API.

Layers

• Conv2D - 32 - 3x3 - relu
• MaxPooling2D - 2x2
• Conv2D - 64 - 2x2 - relu
• MaxPooling2D - 2x2
• Flatten
• Dense - 512 - relu
• Dropout - 0.5
• Dense - softmax

Reference

• [ ] Dataset

[junxnone]

mnist_swwae.py

Trains a stacked what-where autoencoder built on residual blocks on the MNIST dataset.

References

• [ ] Visualizing and Understanding Convolutional Networks - Matthew D Zeiler, Rob Fergus
• [ ] Stacked What-Where Auto-encoders - Junbo Zhao, Michael Mathieu, Ross Goroshin, Yann LeCun
• [ ] Deep Residual Learning for Image Recognition - Kaiming He, Xiangyu Zhang, Shaoqing Ren, Jian Sun
• [ ] Identity Mappings in Deep Residual Networks - Kaiming He, Xiangyu Zhang, Shaoqing Ren, Jian Sun

[junxnone]

mnist_transfer_cnn.py

Transfer learning toy example. 1 - Train a simple convnet on the MNIST dataset the first 5 digits [0..4]. 2 - Freeze convolutional layers and fine-tune dense layers for the classification of digits [5..9].

Layers

• feature layers
  • Conv2D
  • Activation - relu
  • Conv2D
  • Activation - relu
  • MaxPooling2D
  • Dropout - 0.25
  • Flatten
• classification layers
  • Dense - 128
  • Activation - relu
  • Dropout - 0.5
  • Dense
  • Activation - softmax

    Reference