习题5-3

[simo-an]

题目

分析卷积神经网络中用1 × 1的卷积核的作用．

解答

1. 降维（减少参数） 在Inception网络中 使用 1 × 1 的卷积来减少特征映射的深度

2. 升维（使用最少的参数拓宽维度） 如下的ResNet网络结构图 右侧最后一层使用 1 × 1 × 256 的卷积核来将输出的64维提升到 256 维 且只需要 6411*256 个参数

3. 跨通道信息交互 实现升维和降维的操作，其实就是不同通道之间的线性组合，这就是跨通道信息交互

4. 增加非线性特性 每一个卷积操作之后会添加一个非线性激活函数，使用 1 × 1 的卷积核可以在保持特征图尺度不变的情况下增加非线性特性

[simo-an]

由于《神经网络与神经学习》的课后习题没有统一答案，故创建了QQ群（765853804）来以供交流！欢迎大家来一起交流学习！━(｀∀´)ノ亻!

[ccdgyro]

参考：1x1 Convolution

A 1 x 1 Convolution is a convolution with some special properties in that it can be used for dimensionality reduction, efficient low dimensional embeddings, and applying non-linearity after convolutions. It maps an input pixel with all its channels to an output pixel which can be squeezed to a desired output depth. It can be viewed as an MLP looking at a particular pixel location.