YujunXie
commented
4 years ago 《Multi-Person Pose Estimation with Enhanced Channel-wise and Spatial Information》
简介
- Paper: CVPR2019
- 解决问题：low-level和high-level特征图之间的信息融合和有效信息精炼。
- 主要贡献：在CPN网络上做的改进工作（A+B+C工作的典型范例）
- 对于low-level和high-level特征图进行通道混洗。Channel Shuffle Module
- 在残渣模块中引入空间注意力和通道注意力机制。
方法
- 网络结构：
The channel information with different characteris- tics among different levels can complement and reinforce with each other.
- 不同level的特征图上采样后concat, 经过channel shuffle通过分组卷积并下采样后回到之前的大小。
- 将混洗前后的特征图concat，得到金字塔特征图送入RefineNet。
其中channel shuffle操作参考shuffleNet：对于一个卷积层分为g组，
1.有g×n 个输出通道
2.reshape为(g,n)
3.再transpose为(n,g)
4.flatten,再分回g组作为下一层的输入
- 空间注意力机制与通道注意力机制（SENet）
实验
- Ablation Study
- 通道混洗中分组g的大小：g表示通道混合的程度，g为4最优。
- 注意力中空间注意力和通道注意力的位置先后关系：先空间，后通道。
思考:thinking:
:question:结果对比分析各个指标都有提升，与CPN相比体现了特征信息提萃的优点。但是没有模型参数的对比。
:dart: take-home-message
- 在残差结构中加入注意力机制
:sparkles:
- 通道混洗和通道注意力机制区分于：混洗为不同level的特征图进行通道上的信息融合，注意力为单个特征图上的通道选择。
- 好文一篇，在模型改进、实验论证、创新上可圈可点，值得借鉴。
参考文献:books:
《Cascaded pyramid network for multi-person pose estimation》
《Squeeze-and-excitation networks》
《Efficient multi-scale training》
《Simple baselines for human pose estimation and tracking》
《SCA-CNN: Spatial and Channel-wise Attention in Convolutional Networks for Image Captioning》
CPN
简介
方法
top-down方法，即先检测人体后预测关键点。resnet+globalnet+refinenet
GlobalNet：由特征金字塔FPN预测简单的关键点，得到丰富的语义特征。浅层特征空间信息丰富，深层特征语义信息丰富，两者信息互补（可视化VGG-16的特征图可得出相同结论）。
RefineNet：通过精细化的级联网络回传在线困难关键点的损失，由此预测难的关键点。
实验
数据集：MS COCO
检测器：FPN+soft-NMS+OHEM
Ablation Study:
在线困难关键点挖掘数目：8个困难关键点最好。关键点数目不是越多越好，因为部分预测好的关键点通过RefineNet重新预测可能会带来结果干扰。
损失函数：最后GlobalNet加上困难关键点挖掘后效果下降，可能是GlobalNet的特征金字塔网络无法再对预测差的关键点进行refine。
思考:thinking:
:dart: take-home-message
:sparkles: 对其他任务的启发
参考文献:books:
OHEM
《Feature pyramid networks for object detection》
《Learning feature pyramids for human pose estimation》
《Training region-based object detectors with online hard example mining》
《Mask R- CNN》
《A coarse-fine network for keypoint localization》