MLP - Multi-Layer Perception

[junxnone]

Reference

• MLP多层感知机
• MLP(多层感知机)只是CNN(卷积网络)的一个特例
• 3.8.3. 多层感知机 - 动手学深度学习

Brief

多层感知器，是一种前向结构的人工神经网络，映射一组输入向量到一组输出向量。MLP可以被看做是一个有向图，由多个节点层组成，每一层全连接到下一层。除了输入节点，每个节点都是一个带有非线性激活函数的神经元（或称处理单元）。一种被称为反向传播算法的监督学习方法常被用来训练MLP。MLP是感知器的推广，克服了感知器无法实现对线性不可分数据识别的缺点。

• 多层感知机就是含有至少一个隐藏层的由全连接层组成的神经网络，且每个隐藏层的输出通过激活函数进行变换。
• 也叫人工神经网络(ANN,Artificial Neural Network)
• 常用的激活函数包括ReLU函数、sigmoid函数和tanh函数。

• MLP等价于卷积核大小与每层输入大小相同的CNN, MLP只是CNN的一个特例，也就是说MLP本身也是CNN
• 多层感知机层与层之间是全连接的
• 参数过多，计算量庞大
• 全连接情况下，过深的网络容易导致梯度消失，模型难以训练