search

bobo0810 / HS-ResNet

HS-ResNet: Hierarchical-Split Block on Convolutional Neural Network
47 stars 8 forks source link

Understanding #3

Closed wangsun1996 closed 3 years ago

wangsun1996 commented 3 years ago

Hello，in this paper, they propose that: Unlike Res2Net[9], we avoid producing the abundant and even redundant information contained in the feature maps and the network can learn richer feature representation.请问您对这个如何理解呢？从哪个角度说明新的HS网络能够避免提取冗余信息呢？感谢~~

bobo0810 commented 3 years ago

Hello，in this paper, they propose that: Unlike Res2Net[9], we avoid producing the abundant and even redundant information contained in the feature maps and the network can learn richer feature representation.请问您对这个如何理解呢？从哪个角度说明新的HS网络能够避免提取冗余信息呢？感谢~~

仅仅是我的理解，仅供参考：

  1. Res2Net-Block内部每个分支利用残差结构，已复用前分支的所有信息。最后又concat一起，造成冗余特征。
  2. HS-Block 更像 将提取多尺度特征的主干网络结构压缩到同一层。每个分支为concat去学习新特征，并未复用前分支信息，未造成冗余。

9d7414c2d3918ff5543e0b4ea905db0 a9180b6b7345ce2e9b8a47554dcf76b

wangsun1996 commented 3 years ago

感谢您的回答！我还有一点困惑，希望得到您的指导。在特征复用中，我觉得concat和add都是特征复用的方式，add倾向于改变现有特征，而concat操作后进行卷积倾向于寻找不同模式之间的关系（在HS中concat+conv我理解为找寻不同感受野特征之间的关系）。但如何理解同是特征复用但concat能产生更少的冗余呢？您是如何理解add和concat操作所产生特征的的不同呢？期待您的理解。还有一个疑问是这两个网络是不是都增加了3*3conv的输入通道数？

------------------ 原始邮件 ------------------ 发件人: "bobo0810/HS-ResNet" <notifications@github.com>; 发送时间: 2020年12月19日(星期六) 上午8:58 收件人: "bobo0810/HS-ResNet"<HS-ResNet@noreply.github.com>; 抄送: "羽翼゛洃色幻想ě曲"<121713001@qq.com>;"Author"<author@noreply.github.com>; 主题: Re: [bobo0810/HS-ResNet] Understanding (#3)

Hello，in this paper, they propose that: Unlike Res2Net[9], we avoid producing the abundant and even redundant information contained in the feature maps and the network can learn richer feature representation.请问您对这个如何理解呢？从哪个角度说明新的HS网络能够避免提取冗余信息呢？感谢~~

仅仅是我的理解，仅供参考：

Res2Net-Block内部每个分支利用残差结构，已复用前分支的所有信息。最后又concat一起，造成冗余特征。

HS-Block 更像 将提取多尺度特征的主干网络结构压缩到同一层。每个分支为concat去学习新特征，并未复用前分支信息，未造成冗余。

— You are receiving this because you authored the thread. Reply to this email directly, view it on GitHub, or unsubscribe.

bobo0810 commented 3 years ago

感谢您的回答！我还有一点困惑，希望得到您的指导。在特征复用中，我觉得concat和add都是特征复用的方式，add倾向于改变现有特征，而concat操作后进行卷积倾向于寻找不同模式之间的关系（在HS中concat+conv我理解为找寻不同感受野特征之间的关系）。但如何理解同是特征复用但concat能产生更少的冗余呢？您是如何理解add和concat操作所产生特征的的不同呢？期待您的理解。还有一个疑问是这两个网络是不是都增加了3*3conv的输入通道数？

  1. add的代表网络是resnet，残差是一直学习 真值与当前值的差值，类似级数。随着网络加深，差值越来越小，一直在复用之前的特征。 7890193f19f2005d46fdb272bbda4c5
    1. concat的代表网络是densenet, 通道concat，使通道数快速增长，产生大量冗余特征，再利用瓶颈层压缩，倾向于学习新的特征。
    2. HS-Block 通过split和concat，抑制通道数爆炸增长的同时尽可能多学习更多特征。
  2. Res2Net、HS-ResNet网络结构的conv3x3输入输出通道数不变，内部实现有差异。参见issues1

仅仅个人理解，有很大偏差。建议给作者发邮件沟通会更有说明力。:smiley: