github上的代码qkv生成部分和MLP生成部分用的是卷积，与论文描述不一致

BICLab / Spike-Driven-Transformer

Offical implementation of "Spike-driven Transformer" (NeurIPS2023)

https://openreview.net/forum?id=9FmolyOHi5

Apache License 2.0

220 stars 18 forks source link

Closed xiaolongren969 closed 1 month ago

xiaolongren969 commented 1 month ago

Snipaste_2024-10-18_11-14-26 在代码中qkv生成部分和MLP生成部分用的是卷积，而在论文中示意图和表格能量计算部分用的是线性层的计算方式

jkhu29 commented 1 month ago

Conv2d1x1与Linear层完全等价，具体原因请阅读pytorch docs或复习CS231n等深度学习基础课程。

xiaolongren969 commented 1 month ago

好的，感想您的回复，我的问题解决了