Open gladdduck opened 5 months ago
https://gladdduck.github.io/2023/04/11/%E5%AD%A6%E6%9C%AF-%E5%9B%BE%E5%83%8F%E5%A4%84%E7%90%86/
一种介乎CNN和selfAttention之间的操作 将空间不变性(平移不变性)与通道变换性 交换了 普通卷积 好处 1.不同位置之间重用卷积核,减少参数 2.不同通道代表不同含义的信息 缺点 1.通道冗余 2.卷积的接受范围 3.不能根据输入自适应卷积核大小 Involution 空间互异,通道不变 在通道之间共享卷积核,不同位置卷积核不同 Involution 卷积核大小 H×W×K×K×
https://gladdduck.github.io/2023/04/11/%E5%AD%A6%E6%9C%AF-%E5%9B%BE%E5%83%8F%E5%A4%84%E7%90%86/
一种介乎CNN和selfAttention之间的操作 将空间不变性(平移不变性)与通道变换性 交换了 普通卷积 好处 1.不同位置之间重用卷积核,减少参数 2.不同通道代表不同含义的信息 缺点 1.通道冗余 2.卷积的接受范围 3.不能根据输入自适应卷积核大小 Involution 空间互异,通道不变 在通道之间共享卷积核,不同位置卷积核不同 Involution 卷积核大小 H×W×K×K×