Jeryi-Sun / SPACES-Pytorch

苏神SPACE pytorch版本复现
MIT License
42 stars 4 forks source link

copy label问题 #4

Open JaheimLee opened 3 years ago

JaheimLee commented 3 years ago

https://github.com/eryihaha/SPACES-Pytorch/blob/195453d2729d08f9c21afa26e81e67df9fe7e9e1/seq2seq_model.py#L148 这个在苏神那边是target label要错开一位,这里怎么是source label错开一位啊?

Jeryi-Sun commented 3 years ago

我是想让上一位的encode输出来预测下一位,所以从头错了一位([CLS]),我记得当时看苏神的bert输出是处理过的,这里用的seq2seq_bert库,参考了库里的example代码之后这样写的,你也可以做做试验target错一位,同时研究一下seq2seq_bert库,有结果欢迎讨论

shiyanlou-015555 commented 2 years ago

https://github.com/eryihaha/SPACES-Pytorch/blob/195453d2729d08f9c21afa26e81e67df9fe7e9e1/seq2seq_model.py#L148 这个在苏神那边是target label要错开一位,这里怎么是source label错开一位啊?

你尝试了吗,结果怎么样