search

649453932 / Chinese-Text-Classification-Pytorch

中文文本分类，TextCNN，TextRNN，FastText，TextRCNN，BiLSTM_Attention，DPCNN，Transformer，基于pytorch，开箱即用。
MIT License
5.19k stars 1.22k forks source link

transformer #107

Open QJShan opened 1 year ago

QJShan commented 1 year ago

1.为何transformer没有decoder部分 2 image 这里貌似有点问题。

lc2313445 commented 1 year ago

是的，这个transformer不是很标准，这边应该是四维[batch_size, dim_head, -1, d_k]，而且一般view不会将batch的维度进行变化的。。。emmmm

lc2313445 commented 1 year ago

有些地方view使用的也有点问题啊，作者好像没太弄清楚view和transpose两个的区别。。。