search

huawei-noah / Efficient-AI-Backbones

Efficient AI Backbones including GhostNet, TNT and MLP, developed by Huawei Noah's Ark Lab.
4.08k stars 707 forks source link

ViG与transformer的区别 #214

Closed MiaoJieF closed 1 year ago

MiaoJieF commented 1 year ago

你好，我想请教下ViG与transformer的本质区别是什么？

在阅读完代码后，我感觉ViG与transformer有很多的相似之处。transformer是根据相似度进行特征的融合与提取，ViG也在做这个事情，只不过在"相似度"的计算上有所区别，显式地增加了相对位置信息；另外一点不同则是在特征融合上有所区别。整体而言，ViG给我的感觉就是增加了一些归纳偏置的transformer。以上是我的一些个人理解，希望您能够告诉我这个问题的正确答案！

iamhankai commented 1 year ago

是的，本质区别在于ViG的框架更加灵活，不拘泥于qkv的self-attention计算，可以引入图网络的各种性质，还可以考虑异质图、超图等。

MiaoJieF commented 1 year ago

明白了，感谢您的回复